python中的decode()与encode()深入理解

unicode编码方案：
unicode只规定了每个字符所对应的码值（码点），即编码，但并没有规定如何在计算机中实现。同一个字符，可通过utf-8、utf-16、utf-32、gb2312（对中文）等多种方式各自实现。encode（）方法就是将unicode编码方式转化为对应的实现方式，而decode（）相反，将实现方式转化为编码。

1.decode()

bytes.decode(encoding=“utf-8”, errors=“strict”)
1.这个函数是bytes类型数据调用的，字符串str类型是不能够调用的。（好多文章说字符串也可以调用该函数，我是真搞不懂。）
2.该函数返回字符串。换句话说是bytes类型转化成str类型的函数。
3.encoding规定解码方式。bytes数据是由什么编码方式编码的，该函数encoding参数就必须用相应解码方式，这样才能返回正确字符串。解码后的字符串自动转为unicode编码方式。
4.errors参数默认为strict，即解码错误后引起异常发生。其他参数值为ignore,replace等。

2.encode()

str.encode(encoding=“utf-8”, errors=“strict”)
参数含义同上。这个函数将字符串转化成相应编码方式的字节形式。对于ASCII字符(数字，英文，部分标点符号)而言，不同编码方式编码后的字节是一样的。但是对于中文来说，编码后的字节不一样。

3.转码

例如，我有一个中文网站，网站编码方式为gb2312，我通过requests请求后要将网页打印出来。但是python内部是unicode编码的，直接response.text肯定会返回乱码。

import requests
url_all="https://www.kanunu8.com/"
header_all={
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    'upgrade-insecure-request': '1',
}
def get_classification_urls(url,headers):
    try:
        response=requests.get(url,headers=headers,timeout=10)
        if response.status_code==200:
            print(response.text))
    except Exception as e:
        print(e)

如下图，果然乱码

这时就需要正确解码，即将gb2312解码为unicode.我们可以这样：
1.先获取编码的二进制格式，该格式为gb2312编码的二进制：

bytes=response.content

2.将二进制格式通过decode()函数解码为unicode格式：

bytes.decode(encoding="gb2312")

decode()函数是bytes类型转str类型，这样就能够返回正确的字符串了。

当然，这个例子即使通过gb2312解码，仍然是乱码。原因可能是原网页含有gb2312不能识别的字符(虽然gb2312是为中国文字服务的，但是有些少数名族的字符也属于中国文字，但是并没有包含在gb2312内)。后来为了扩充编码，由在gb2312基础上增加了gbk和gb18030编码，二者范围更广。事例用gb18030即可正确解码。