网站建设ppt答辩,wordpress手机移动主题,该网站是恶意网站,公司做宣传网站1.背景 工作中需要处理多个文件#xff0c;每个文件里面有重复的数据#xff0c;剔除重复数据#xff0c;保留最新的数据
2.代码#xff1a;
import pandas as pd
import osdl []
#person_list是文件路径
for i in range(person_list_len):#把文件df全部集合进列表dldl.a…1.背景 工作中需要处理多个文件每个文件里面有重复的数据剔除重复数据保留最新的数据
2.代码
import pandas as pd
import osdl []
#person_list是文件路径
for i in range(person_list_len):#把文件df全部集合进列表dldl.append(pd.read_csv(person_list[i], encodingutf-8))
#集合数据
dfpd.concat(dl)
#删除重复的数据
df.drop_duplicates(subset[身份证号],keeplast,inplaceTrue)
#保存数据到cvs
new_file D:\\xxx\\xxx\\合并_%s.csv%file_name
if os.path.exists(new_file):os.remove(new_file)
df.to_csv(new_file)
