Pandas 多进程处理数据
Python学习与数据挖掘 人气:2前言:
python 有自己的多进包 multiprocessing 去实现并行计算,但在Pandas处理数据中,使用 multiprocessing 并不好使,只听见风扇转啊转,就不见运行完毕。
为了提高一点数据清洗的速度,找到一个Pandas多进程的方法,pandarallel
库,做了一下测试。下面来看看具体过程吧
【注】文末提供技术交流方式
小数据集(先试过了1w)可能多进程还没单进程快,因为进程开启关闭也要一点时间。于是我弄了 100w 数据来测试:
利用以上数据做以下处理:
- 剔除 titile,comment 两列文本中的表情符号
- title,comment 两列做一个分词处理,覆盖原来的列
1、单进程
在交互式环境中输入如下命令:
'''单进程''' import jieba import re import time import pandas as pd def filter_emoji(desstr, restr=''): if (desstr is None) or str(desstr) == 'nan': return '' # 过滤表情 try: co = re.compile(u'[\U00010000-\U0010ffff]') except: co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]') return co.sub(restr, desstr) if __name__ == '__main__': start = time.time() data = pd.read_csv('feike.csv',encoding='gbk') data['comment'] = data['comment'].map(filter_emoji) data['title'] = data['title'].map(filter_emoji) data['comment'] = data['comment'].map(lambda s: jieba.lcut(s)) data['title'] = data['title'].map(lambda s: jieba.lcut(s)) end = time.time() print(end - start)
输出:
在单进程的情况下,可以看到用时 294s,接近 5min
了。
2、多进程
multiprocessing
多进程写法,这种写法网上一搜一大把,代码没有错,多进程任务可以执行。
例如run_task
函数中的任务是爬虫代码时,没有什么问题,但如果是数据清洗的代码,我测试就很久都跑不出来:
接下来换成Pandas多进程 pandarallel 的写法就可以:
'''pandarallel 多进程''' import jieba import re import time import pandas as pd from pandarallel import pandarallel pandarallel.initialize(nb_workers=4) def filter_emoji(desstr, restr=''): if (desstr is None) or str(desstr) == 'nan': return '' # 过滤表情 try: co = re.compile(u'[\U00010000-\U0010ffff]') except: co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]') return co.sub(restr, desstr) if __name__ == '__main__': start = time.time() data = data = pd.read_csv('feike.csv',encoding='gbk') data['comment'] = data['comment'].parallel_apply(filter_emoji) data['title'] = data['title'].parallel_apply(filter_emoji) data['comment'] = data['comment'].parallel_apply(lambda s: jieba.lcut(s)) data['title'] = data['title'].parallel_apply(lambda s: jieba.lcut(s)) end = time.time() print(end - start)
输出:
可以看到改写后时间用时 154s(2min30s),比单进程快了一倍。关于 pandarallel 可以查看文档
对应的多进程写法函数对照表,Pandas中的 apply,applymap,map 三个函数的区别,写对应的代码:
加载全部内容