python批量提取txt文本写入excel
我想有很多头发和很多钱 人气:01.提取txt文本
我想要的文本是如图所示，宝可梦的外貌描述文本，由于原本的数据源结构并不是很稳定，而且也不是表格形式，因此在csdn上查了半天。
最原始的一行一行提取（不建议，未采用）
fi = open("D:\python_learning\data\data\Axew.txt","r",encoding="utf-8")
wflag =False #写标记
newline = [] #创建一个新的列表
for line in fi : #按行读入文件，此时line的type是str
if "=" in line: #重置写标记
wflag =False
if "原型剖析" in line: #检验是否到了要写入的内容
wflag = True
continue
if wflag == True:
K = list(line)
if len(K)>1: #去除文本中的空行
for i in K : #写入需要内容
newline.append(i)
strlist = "".join(newline) #合并列表元素
newlines = str(strlist) #list转化成str
print(newlines)
"""
for D in range(1,100): #删掉句中（）
newlines = newlines.replace("（{}）".format(D),"")
for P in range(0,9): #删掉前面数值标题
for O in range(0,9):
for U in range(0, 9):
newlines = newlines.replace("{}.{}{}".format(P,O,U), "")
fo.write(newlines)
fo.close()
fi.close()
"""源代码为：将提取出的txt文本储存到另外一个txt中，跟我的需求不符合，因此注释掉了
正则表达式提取
由于txt文件打开后不是数据格式，因此先转为列表形式（一行是一个元素）；再将列表元素合到一起，转为一个元素。
re.compile函数可以创建正则函数
pattern= re.compile(r’=栖息地=\n(.*?)\n==’, flags=re.DOTALL)
flags=re.DOTALL 这样找寻文本时可以跨行；
’=栖息地=\n(.*?)\n==’ 正则表达式表示只要小括号里面的以‘=栖息地=\n’开头，‘\n==’结尾的所有文本
pattern.findall函数可以在文本中找到符合正则函数的文本，但是莫名其妙会重复好多次，这个问题应该是我哪里写错了，但是因为实在没空纠结这个，所以直接用result=pattern.findall(f2)[0]来提取第一个。
path='D:\\python_learning\\data\\data\\'+df.iloc[0,3]+'.txt'
#为循环做准备
import re
f1=list(open(path,"r",encoding="utf-8"))#列表格式
f2="".join(f1)#合并列表元素
#print(type(f3))
pattern= re.compile(r'===栖息地===\n(.*?)\n==', flags=re.DOTALL)#在所有行里找以‘===栖息地===\n'开头，‘\n=='结尾的所有文本
if len(pattern.findall(f2))==0:#有可能找不到，以防报错
result='none'
else:
result=pattern.findall(f2)[0]
print(result)
2.增加数据框的列
由于我需要在已有数据集上增加上面提取到的文本数据，因此我准备先把csv数据放到Python里变成数据框，再把数据框里扩列，再改内容，再写入新的csv。
参考了代码，这个比较乱，只看第一个import下面就行，我单纯就是留个记录：
#数据框增加列的参考
import pandas as pd
df = pd.DataFrame(columns = list('abcd'),data = [[6,7,8,9],[10,11,12,13]])
#在b列前面增加一个m列
col_name = list(df.columns)
col_name.insert(1,'m')
df.reindex(columns = col_name,fill_value = 12)
#在b列前一次性增加三列h,n,g
col_name = col_name[0:2]+list('hng')+col_name[2:]
df.reindex(columns = col_name,fill_value = 10)
import pandas as pd
df = pd.DataFrame(columns =word,data = [['Bulbasaur',7,8,9],[10,11,12,13]])
print(df)
col_name = list(df.columns)#列名
print(col_name )
#在b列前面增加一个m列
col_name.insert(1,'m')
print(col_name)
df=df.reindex(columns =['name','概述', '外貌', '栖息地', '原型剖析'],fill_value = 12)
print(df)
3.引入基础csv数据，并扩列
是之后循环和写入的基础
import pandas as pd data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv') #print(data_name) word=['概述','外貌','栖息地','原型剖析'] col_name = list(data_name.columns)#列名 col_name = col_name +word#添加新的列名 #print(col_name ) df=data_name.reindex(columns = col_name,fill_value =' ')#在数据框中增加四列，填充空格 print(df) #print(df.iloc[2,2])
我的数据是这样的：
汇总
把上面的放在一起，并且把需要循环的模块写成函数：
# # 引入包
# In[ ]:
import re
import pandas as pd
# # 引入基础数据
# In[135]:
data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
#print(data_name)
word=['概述','外貌','栖息地','原型剖析']
col_name = list(data_name.columns)#列名
col_name = col_name +word#添加新的列名
#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在数据框中增加四列，填充空格
#print(df)
#print(df.iloc[2,2])
# # 引入函数
# In[ ]:
#去除空行函数
def deletespace(path1,path2):
with open(path1,'r',encoding = 'utf-8') as fr,open(path2,'w',encoding = 'utf-8') as fd:
for text in fr.readlines():
if text.split():
fd.write(text)
print('输出成功....')
fr.close()
fd.close()
# In[143]:
#正则找文本
def find(path,conversion):
f1=list(open(path,"r",encoding="utf-8"))#列表格式
f2="".join(f1)#合并列表元素
#print(type(f3))
pattern= re.compile(conversion, flags=re.DOTALL)#在所有行里找以‘===栖息地===\n'开头，‘\n=='结尾的所有文本
if len(pattern.findall(f2))==0:#有可能找不到，以防报错
result='none'
else:
result=pattern.findall(f2)[0]
return result
# # 起始准备 把所有空行消除，不需要运行第二遍
# In[ ]:
data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
for word in df.iloc[:,3]:
path1='D:\\python_learning\\data\\data\\'+word+'.txt'#爬虫获取的数据
path2='D:\\python_learning\\data\\description\\'+word+'.txt'
deletespace(path1,path2)
# # 开始循环
# In[ ]:
word=['概述','外貌','栖息地','原型剖析']#根据文本中情况进行正则
conversion=['==概述==\n(.*?)==','===外貌===\n(.*?)==','===栖息地===\n(.*?)==','==原型剖析==\n(.*?)==']#正则文本
word1=col_name[7]
print(word1)
newlines=seek(path,word1)
print(newlines)
# In[145]:
print(len(df))
print(len(list(df.columns)))
# In[150]:
for i in range(len(df)):
for j in range(6,len(list(df.columns))):
path='D:\\python_learning\\data\\description\\'+df.iloc[i,3]+'.txt'
k=j-6
cword=conversion[k]
result=find(path,cword)
df.iloc[i,j]=result
# In[152]:
df.to_csv('df.csv',encoding ='utf_8_sig')#输出中文必须用这个utf_8_sig 编码才是中文
print("已输出文档")
#出现问题，很多匹配不到，发现是原始文本的原因总之我文本描述的准备是差不多了。
总结
加载全部内容