1.python 的文本数据和二进制数据

• python的文本数据为String（默认编码utf-8），二进制数据为bytes。
  字符串由字符组成，字符则是与任何特定二进制表示无关的抽象实体。
  str可以编码成字节包，而bytes可以解码成字符串。

如图：

转换图

• 注：有时候编码无法相互转化，于是就有了errors参数，常用参数 'ignore'（忽略错误）

  # 忽略转换过程中无法转换的字符
  str.encode('gbk','ignore')

2.检测所读数据是什么编码

• 使用chardet第三方库。

2.1 安装

• 使用pip直接安装。

  pipinstall chardet

2.2 使用

• 使用chardet.detect(字节包)查看数据编码概率。

  import chardet
  import urllib.request
  code=urllib.request.urlopen("http://tieba.baidu.com/").read()
  print(chardet.detect(code))

  结果为：
  
  
  

  result
  
  这里检测出百度贴吧首页为GB2312编码，概率为0.99。这样基本确定这个页面的编码是GB2312了。