高效处理大量CSV文件：Pandas DataFrame分块与多线程优化

本文针对循环读取并合并大量CSV文件至Pandas DataFrame时效率低下的问题，提供了基于数据收集和多线程的优化方案。通过将数据暂存至字典后一次性合并，以及利用`ThreadPoolExecutor`实现并行读取，显著提升数据处理速度，并附带代码示例和注意事项。

在数据分析和处理过程中，经常会遇到需要读取大量CSV文件并将它们合并成一个大的DataFrame的情况。如果文件数量巨大，传统的循环读取并逐个合并的方法效率会非常低下，尤其是在每次循环中使用pd.concat时，由于其会创建新的DataFrame对象，导致内存占用和计算时间显著增加。本文将介绍两种优化方案：一是避免在循环中使用pd.concat，而是先将数据收集起来，最后一次性合并；二是利用多线程并行读取文件，进一步提升效率。

优化方案一：数据收集与一次性合并

问题的关键在于避免在循环中频繁调用pd.concat。可以将每次读取的数据先存储在一个Python字典中，然后在循环结束后，使用pd.concat一次性将字典中的所有数据合并成一个DataFrame。

以下是优化后的代码示例：

import pathlib
import pandas as pd

# 假设 root_path 是CSV文件所在的根目录
root_path = pathlib.Path('root')

# 创建一个字典来存储读取的数据
data = {}

# 循环读取CSV文件
for count, (_, row) in enumerate(df.iterrows(), 1):
    folder_name = row['File ID'].strip()
    file_name = row['File Name'].strip()
    file_path = root_path / folder_name / file_name
    folder_file_id = f'{folder_name}_{file_name}'

    # 读取CSV文件，并设置列名
    file_data = pd.read_csv(file_path, header=None, sep='\t',
                            names=['Case', folder_file_id],
                            memory_map=True, low_memory=False)
    # 将读取的数据存储到字典中，键为folder_file_id
    data[folder_file_id] = file_data.set_index('Case').squeeze()
    print(count)

# 使用pd.concat一次性合并所有数据
merged_data = (pd.concat(data, names=['folder_file_id'])
                 .unstack('Case').reset_index())

代码解释：

1. 使用pathlib.Path代替os.path，使代码更具可读性和跨平台性。
2. 使用enumerate代替手动计数器，使代码更简洁。
3. 使用字典data来存储每次读取的DataFrame。
4. 在循环结束后，使用pd.concat一次性合并字典中的所有DataFrame。
5. memory_map=True, low_memory=False 参数可以帮助处理大型CSV文件。
6. .set_index('Case').squeeze() 将'Case'列设置为索引，并将DataFrame压缩成Series，以减少内存占用。
7. .unstack('Case').reset_index() 将'Case'列取消堆叠，并将索引重置为默认的整数索引。

注意事项：

Whimsical

Whimsical推出的AI思维导图工具

182 查看详情

• 确保所有CSV文件具有相同的列结构，以便合并。
• 根据实际情况调整memory_map和low_memory参数。
• 如果CSV文件非常大，可以考虑使用dask等库进行分块读取和并行处理。

优化方案二：多线程并行读取

如果读取CSV文件是瓶颈，可以考虑使用多线程并行读取。Python的concurrent.futures模块提供了ThreadPoolExecutor，可以方便地实现多线程。

以下是使用多线程的代码示例：

from concurrent.futures import ThreadPoolExecutor
import pathlib
import pandas as pd

# 假设 root_path 是CSV文件所在的根目录
root_path = pathlib.Path('root')

def read_csv(args):
    count, row = args  # expand arguments
    folder_name = row['File ID'].strip()
    file_name = row['File Name'].strip()
    file_path = root_path / folder_name / file_name
    folder_file_id = f'{folder_name}_{file_name}'

    file_data = pd.read_csv(file_path, header=None, sep='\t',
                            names=['Case', folder_file_id],
                            memory_map=True, low_memory=False)
    print(count)
    return folder_file_id, file_data.set_index('Case').squeeze()

with ThreadPoolExecutor(max_workers=2) as executor:
    batch = enumerate(df[['File ID', 'File Name']].to_dict('records'), 1)
    data = executor.map(read_csv, batch)

merged_data = (pd.concat(dict(data), names=['folder_file_id'])
                 .unstack('Case').reset_index())

代码解释：

1. 定义一个read_csv函数，用于读取单个CSV文件。
2. 使用ThreadPoolExecutor创建线程池，max_workers参数指定线程数量。
3. 使用executor.map将read_csv函数应用到df的每一行，实现并行读取。
4. df[['File ID', 'File Name']].to_dict('records') 将DataFrame转换为字典列表，方便传递给read_csv函数。
5. enumerate 函数为每个文件添加一个计数器，用于打印进度。

注意事项：

• max_workers参数需要根据CPU核心数和实际情况进行调整。
• 多线程适用于I/O密集型任务，如果CPU计算是瓶颈，多线程可能无法带来显著的性能提升。
• 注意线程安全问题，避免多个线程同时访问共享资源。

总结

通过避免在循环中使用pd.concat，而是先将数据收集起来，最后一次性合并，可以显著提升处理大量CSV文件的效率。如果读取CSV文件是瓶颈，可以考虑使用多线程并行读取，进一步提升效率。在实际应用中，需要根据具体情况选择合适的优化方案。

以上就是高效处理大量CSV文件：Pandas DataFrame分块与多线程优化的详细内容，更多请关注其它相关文章！

# 一是  # 外贸网站建设wordpress  # 菲律宾seo有正规的不  # 即墨市seo网站排名  # V信seo365t  # 四川视频网站优化技巧  # 宜昌视频营销推广方案  # 宝山营销推广合作企业有哪些  # 企业营销推广管理系统  # 私域引流营销推广  # 网站推广一般有哪些方法  # 两种  # python  # 多个  # 是在  # 结束后  # 如何做  # 先将  # 实际情况  # 并将  # 多线程  # 内存占用  # csv文件  # csv 

相关文章： Node.js 中使用 node-cron 实现定时 API 数据抓取与处理  ExcelARRAYTOTEXT函数怎么自定义分隔符输出数组文本_ARRAYTOTEXT实现动态生成SQL语句  mc.js游戏直达 mc.js网页免下载版本秒进地址  深入理解J*a链表中的IPosition接口与使用  Go语言中动态执行代码字符串的策略与实践  J*aScript中正确使用querySelectorAll与复杂CSS选择器  Node.js CSV 数据处理：基于字段值条件过滤整条记录的策略  Safari怎么安装扩展程序 浏览器插件安装与管理方法【详解】  提升屏幕阅读器对“m”时间单位的播报准确性：HTML与CSS组合解决方案  将PCM16音频转换为W*并编码为Base64：浏览器环境下的手动处理指南  如何使用Node.js csv 包按条件移除含空字段的CSV记录  CSS Flexbox与媒体查询：实现响应式布局中元素的并排与堆叠  QQ邮箱官方网页版登录 QQ邮箱个人邮箱快速访问  HTML转PPT成品工具有哪些？HTML网页转PPT成品工具大全  微信网页版官方入口直达 微信网页版网页版登录使用方法  学习通网页版官方登录 超星学习通电脑端入口指南  Mudbox图层蒙版怎么用_Mudbox图层蒙版数字雕刻应用技巧  Win10如何清理注册表垃圾 Win10手动清理无效注册表【技巧】  腾讯视频怎么举报不良内容_腾讯视频内容举报流程与违规信息处理方法  深入理解Go语言中Map值与方法接收器的交互：为什么需要临时变量  谷歌google账号注册详细步骤 谷歌账号注册官方教程  没有大陆身份证/银行卡如何实名微信？ 亲测有效的几种方法分享  狙击外星人小游戏开始_狙击外星人小游戏立即开始  如何将HTML表格多行数据保存到Google Sheet  抖音网页版快捷访问 抖音网页版网页版入口操作教程  sublime怎么进行远程开发编辑_配置rsub/rmate实现sublime编辑服务器文件  将PCM16音频数据转换为W*并编码为Base64教程  荣耀Play7TPro怎样在信息App置顶客服对话_iPhone荣耀Play7TPro信息App置顶客服对话【优先查看】  Mac终端命令大全_Mac常用Terminal指令速查  word邮件合并后日期格式不对怎么改_Word邮件合并日期格式修改方法  怎样使用“本地安全策略”提升Windows安全性_Secpol.msc配置指南【高手】  自动化J*a应用中GitHub CLI或REST API的认证与交互  利用5118提升短视频内容效果_5118短视频关键词优化方法  AO3访问入口汇总 AO3网页版同人作品一键直达  UE5.7引擎表现爆炸优化无敌！5090跑4K稳定60FPS  Win11怎么设置鼠标指针速度_Win11提高鼠标指针精确度选项  为什么我的微信朋友圈看不到别人的更新_微信朋友圈更新显示异常解决方法  免费抖音短视频入口_抖音网页版短视频免费通道  Yandex免登录网页版地址 Yandex搜索引擎官方访问入口  抖音未来赚钱的新趋势 2025年值得关注的变现风口分析  怎样更改Windows系统的默认安装路径_避免C盘爆满的终极设置【技巧】  高德地图总提示网络异常怎么办 高德地图离线导航设置与网络排查方法  PHP字符串中复杂变量插值的最佳实践与语法解析  TikTok搜索不到用户发布内容怎么办 TikTok用户内容搜索优化方法  汽水音乐在线版入口_汽水音乐网页播放手册  4399体育竞技小游戏_4399小游戏赛事入口  解决J*aScript中重复选择项的确认对话框显示问题  C++如何操作注册表_Windows平台下C++读写注册表的API函数详解  CSS图片焦点样式实现教程：理解与应用tabindex属性  苹果手机指南针不准怎么校准 传感器校准方法详解【建议收藏】