每天分享一个Python库-Chardet

SilenceHL 的个人博客 / 34 / 0 / 创建于 2年前 / 更新于 2年前

前言

Python中有许多好用、有意思的库，有一些可以大大提高开发效率，有的可以为我们解决很多棘手的问题，从今天开始我会每天给大家分享一个Python库。今天分享的是一个跟字符串编码有关的库—chardet

Chardet

简介

chardet是一个识别字符串编码的第三方库，支持繁简中文、日语、韩文等多种语言

安装

使用pip进行安装
```
$ pip install chardet
```
通过安装Anaconda进行安装，由于Anaconda中已经帮我们安装了chardet，可以直接使用

简单使用

识别字符串格式
```
>>> import chardet
>>> chardet.detect(b'Hello chardet!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
```
返回的结果中，encoding对应的键为编码类型，confidence对应的键为识别可信度为1，即为100%，language对应的键为语言，这里没有检测出来
识别中文格式
```
>>> chardet.detect('你好'.encode('utf-8'))
>>> {'encoding': 'utf-8', 'confidence': 0.7525, 'language': ''}
```
这次可以看到检测出了编码类型为utf-8，可信度为75.25%，从这里可以看出检测中文的准确率没有那么高

对外语进行检测

>>> chardet.detect('こんにちは'.encode('euc-jp'))
>>> {'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}

对日语的检测可信度为99%且成功检测出来了语言

作用

前面介绍了一下chardet库，与其简单的使用方法，那我们什么场景可以使用它呢，我举一个例子：当我们从网页爬取一段内容后，不清楚编码类型，就可以使用chardet库来进行检测，然后将不同的类型转化为utf-8来进行后续操作。还有其他使用场景欢迎大家补充！

尾巴

从上可以看出，chardet库非常的简单易用，核心目的也比较明确：检测字符串编码类型。以后在字符串编码不清楚的时候可以使用chardet库，而不是自己去试，可以大大提高开发效率。

官方文档地址

本作品采用《CC 协议》，转载必须注明作者和本文链接

SilenceHL

版主 433 声望

暂无个人描述~

1 人点赞

每天分享一个Python库-Chardet

前言

Chardet

简介

安装

简单使用

作用

尾巴

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

每天分享一个Python库-Chardet

前言

Chardet

简介

安装

简单使用

作用

尾巴

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录