python对象持久化pickle模块

时间:2022-06-02 把苹果咬哭人气:0

前言

pickle 模块可以对一个 Python 对象的二进制进行序列化和反序列化。说白了，就是它能够实现任意对象与二进制直接的相互转化，也可以实现对象与文本之间的相互转化。

比如，我程序里有一个 python 对象，我想把它存到磁盘里，于是我用 pickle 把他转到一个文本里。当后面我想使用的时候，读取出来时候依然是一个 python 对象。

一、pickle 模块下的方法

pickle 模块提供了以下 4 种方法：

dump()：将 Python 中的对象序列化成二进制对象，并写入文件
load()：读取指定的序列化数据文件，并返回对象
dumps()：将 Python 中的对象序列化成二进制对象，并直接返回，而不是将其写入到文件
loads()：读取给定的二进制对象数据，并将其转换为 Python 对象

1. dumps()

将 Python 中的对象序列化成二进制对象，并直接返回。

示例

import pickle
test_list = ["pingguo", {1, 2, 3}, None]
# 使用 dumps() 函数将 test_list 转成 p1
p1 = pickle.dumps(test_list)
print(p1)
print("返回类型：", type(p1))

输出结果：

b'\x80\x03]q\x00(X\x07\x00\x00\x00pingguoq\x01cbuiltins\nset\nq\x02]q\x03(K\x01K\x02K\x03e\x85q\x04Rq\x05Ne.'
返回类型： <class 'bytes'>

2. loads()

读取给定的二进制对象数据，并将其转换为 Python 对象。

示例在上面的基础上继续：

import pickle
test_list = ["pingguo", {1, 2, 3}, None]
# 使用 dumps() 函数将 test_list 转成 p1
p1 = pickle.dumps(test_list)
print(p1)
print("返回类型：", type(p1))
# 使用 loads() 函数将 p1 转成 Python 对象 p2
p2 = pickle.loads(p1)
print(p2)
print("返回类型：", type(p2))

输出结果：

b'\x80\x03]q\x00(X\x07\x00\x00\x00pingguoq\x01cbuiltins\nset\nq\x02]q\x03(K\x01K\x02K\x03e\x85q\x04Rq\x05Ne.'
返回类型： <class 'bytes'>
['pingguo', {1, 2, 3}, None]
返回类型： <class 'list'>

pickle 反序列化后的对象与原对象是等值的副本对象，类似deepcopy。

3. dump()

将 Python 中的对象序列化成二进制对象，并写入文件。

示例

import pickle
test_list = ["pingguo", {1, 2, 3}, None]
with open("test_pickle.txt", "wb") as f:
    # 使用 dump() 函数将 test_list 转成 p1，写到txt文本里
    pickle.dump(test_list, f)

注意这里的写文件是 "wb"，以二进制格式打开一个文件只用于写入，否则会报错。

执行成功后，同级目录下生成一个test_pickle.txt文件，因为是二进制内容，直接打开看到的是乱码。

4. load()

读取指定的序列化数据文件，并返回对象。

示例

import pickle
test_list = ["pingguo", {1, 2, 3}, None]
with open("test_pickle.txt", "wb") as f:
    # 使用 dump() 函数将 test_list 转成 p1，写到txt文本里
    pickle.dump(test_list, f)
with open("test_pickle.txt", "rb") as f:
    # 将二进制文件对象转换成 Python 对象 p3
    p3 = pickle.load(f)
    print(p3)
    print("类型：", type(p3))

注意，这里读取文件用rb，也就是以二进制格式打开一个文件用于只读。

执行成功。

['pingguo', {1, 2, 3}, None]
类型： <class 'list'>

二、可以被 pickle 封存/解封的对象

下列类型可以被封存：

None、True 和 False
整数、浮点数、复数
str、byte、bytearray
只包含可封存对象的集合，包括 tuple、list、set 和 dict
定义在模块最外层的函数（使用 def 定义，lambda 函数则不可以）
定义在模块最外层的内置函数
定义在模块最外层的类
某些类实例，这些类的 dict 属性值或 getstate() 函数的返回值可以被封存。

三、pickle 与 json 的区别

python 提供的 json 标准库相信大家都熟悉，提供的方法也与 pickle 相似，那么两者有什么区别呢？

JSON 是一个文本序列化格式，pickle 是一个二进制序列化格式。
JSON 是我们可以直观阅读的，而 pickle 不行。
JSON是可互操作的，在Python之外也可以使用，而pickle则是Python专用的。
默认情况下，JSON 只能表示 Python 内置类型的子集，不能表示自定义的类；但 pickle 可以表示大量的 Python 数据类型。
JSON不像 pickle，对一个不信任的JSON进行反序列化的操作本身不会造成任意代码执行漏洞。

关于最后一点，说的是 pickle 模块并不安全。很有可能你去解封的是恶意构建的 pickle 数据，造成解封时执行了恶意代码，所以要慎用。

加载全部内容