这篇博客讨论了在处理大型Excel文件时，使用pandas和openpyxl模块的效率问题。通过实例展示，开启openpyxl的只读模式可以显著减少打开大文件的时间，但全量读取数据仍耗时较长。pandas的read_excel函数虽然不支持只读模式，但读取同样数据也需要较长时间。因此，对于超大文件，建议只读取所需数据以提高效率。
摘要生成于
，由 DeepSeek-R1 满血版支持，
知乎上有同学求助说，当他试图打开一个20M左右的excel文件时，无论是使用pandas的read_excel，还是直接使用xlrd或者openpyxl模块，速度都慢到无法忍受的程度，耗时大约1分钟左右。
真的会这样吗？第一感觉是，这位同学在使用openpyxl模块时没有设置只读模式。为便于测试，先用下面的代码生成一个一百万行数据的excel文件。
>>> from openpyxl import Workbook
>>> wb = Workbook()
>>> sh = wb.active
>>> sh.append(['id', '语文', '数学', '英语', '物理'])
>>> for i in range(1000000):
sh.append([i+1, 90, 100, 95, 99])
>>> wb.save(r'd:\bigxlsx.xlsx')
>>> import os
>>> os.path.getsize(r'd:\bigxlsx.xlsx')
20230528
接下来定义了一个使用openpyxl模块打开文件的函数，分别考察关闭和开启只读模式的时间消耗。
>>> from openpyxl import load_workbook
>>> import time
>>> def read_xlsx(read_only):
t0 = time.time()
wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only)
t1 = time.time()
print(wb.sheetnames)
print(sh.cell(row=1, column=1).value)
print(sh.cell(row=100, column=3).value)
print('耗时%0.3f秒钟'%(t1-t0))
>>> read_xlsx(True)
['Sheet']
耗时0.404秒钟
>>> read_xlsx(False)
['Sheet']
耗时67.817秒钟
运行测试，果然，不开启只读的话，真的需要1分多钟，而使用只读模式的话，则仅需0.4秒钟。
不过，也别高兴得太早，openpyxl模块并没有提供像pandas.read_excel()那样把全部数据读入一个数据结构的功能，只能定位到行、列或格子以后再读取数据。要想使用openpyxl模块把全部数据读入到数组或DataFrame中，需要遍历所有的行和列，这仍然是一个非常耗时的操作。
那么，pandas.read_excel()是否也支持只读模式呢？遗憾的是，read_excel()并没有类似read_only这样的参数。尽管read_excel()可以接受文件路径、文件对象、类文件对象，甚至是二进制数据，但即使将文件内容传入，read_excel()解析这100万行数据仍然需要大约80秒钟。下面的代码验证了这一点。
>>> import pandas as pd
>>> def read_excel_by_pandas():
with open(r'd:\bigxlsx.xlsx', 'rb') as fp:
content = fp.read()
t0 = time.time()
df = pd.read_excel(content, engine='openpyxl')
t1 = time.time()
print(df.head())
print(df.tail())
print('耗时%0.3f秒钟'%(t1-t0))
>>> read_excel_by_pandas()
id 语文 数学 英语 物理
0 1 90 100 95 99
1 2 90 100 95 99
2 3 90 100 95 99
3 4 90 100 95 99
4 5 90 100 95 99
id 语文 数学 英语 物理
999995 999996 90 100 95 99
999996 999997 90 100 95 99
999997 999998 90 100 95 99
999998 999999 90 100 95 99
999999 1000000 90 100 95 99
耗时81.369秒钟
结论：处理超大的Excel文件时，使用openpyxl模块的只读模式，可以快速打开并取得指定格子的数据，但不要尝试将全部数据读入到自己定义的数据结构中，这将花费漫长的时间。对此，pandas也无能为力。
代码很短，为了节省时间就不说思路了，直接看下边的代码就可以。
import pandas as pd # pandas版本0.25.1
import numpy as np # numpy版本1.16.3
import time
t0 = time.time()
data = pd.read_excel(
'data.xlsx',
encoding='gb2312' # 添加encoding='gb2312'使得能够读取中文
t1 = time.time()
cost1 = t1
openpyxl是读写Excel的python库，是一个比较综合的工具，能够同时读取和修改Excel文档
Student是一个excel工作表
Sheet是Student工作表的一个表单
当把excel工作表黏贴到pycharm中时要贴到和执行.py文件一个目录下才能使用该工作表
一、安装openpyxl模块
在cmd命令行下输入命令：pip install openpyxl
也可在pycharm...
使用Python完整的获取所有文件及文件夹并读取相应的文件
使用Python合并数据
总共1000多万条数据，如果我们用Excel的话估计要很多时间将这么多表格合并，而且会很卡，最后总结，python NP！
不足之处还请大家多多指正！
Python导数据的时候，需要在一个大表上读取很大的结果集。
如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出
解决的方法：
1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)
2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。
import MySQLdb.cursors
conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
python是一门开发语言，可以用来写大型项目，也可以用来写脚本，比如自动化脚本，也可以用来写工具。
我们平时做测试，不一定做自动化测试才用去python，做功能测试，也就是点点点，也可以把它用起来。
比如，我现在页面有一个功能，导入的功能，我想测它最大支持多少数据量导入，或者说多大的文件导入，那么我们得在excel中写入很多条数据(导入模板是xls,xl...
