python 爬虫 HTML 乱码

你所抓取的目标页面编码有可能是gb2312

代码请复制粘贴，换一下吧。图片贴代码 太伤害人了。哈哈：）

1. headr 中 'Accept-Encoding':'gzip,deflate,br'
2. response.headers 中 'Content-Encoding': 'br'

   {'Date': 'Mon, 09 Mar 2020 12:24:34 GMT', 'Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Connection' : 'keep-alive', 'Keep-Alive': 'timeout=30', 'Vary': 'Accept-Encoding, Accept-Encoding', 'X-Xss-Protection': '1; mode=block', ' X-Douban-Mobileapp': '0', 'Expires': 'Sun, 1 Jan 2006 01:00:00 GMT', 'Pragma': 'no-cache', 'Cache-Control': 'must-revalidate, no-cache, private', 'Set-Cookie': 'bid=yFVQdCa6UaE; Expires=Tue, 09-Mar-21 12:24:34 GMT; Domain=.douban.com; Path=/', 'X-DOUBAN -NEWBID': 'yFVQdCa6UaE', 'X-DAE-App': 'movie', 'X-DAE-Instance': 'default', 'Server': 'dae', 'X-Content-Type-Options': 'nosniff', 'Content-Encoding': 'br'}

3. br 指的是 Brotli，是一种全新的数据格式，无损压缩，压缩比极高 (比gzip高的) , 默认是不作br解压缩的.
4. 解决方法有两种方式

   'Accept-Encoding':'gzip,deflate,br'
   去掉br, 改为 
   'Accept-Encoding':'gzip,deflate'

   pip install brotli
   import brotli
   data = brotli.decompress(response.content)
   html = data.decode('utf-8')