python openpyxl模块，加载文件时，设置data_only=True，返回值为None

最新推荐文章于 2024-07-24 16:03:28 发布
原创 最新推荐文章于 2024-07-24 16:03:28 发布 · 6.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

使用openpyxl操作Excel时，A3单元格插入A1与A2求和公式，保存后再加载，设置data_only=True时，A3单元格返回值为None。原因是Excel未缓存公式结果，openpyxl无法读取未计算过的公式值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用openpyxl模块联系excel的操作，A1=200,A2=300,A3插入公式计算了A1A2的和，保存之后，再加载excel，设置data_only=True，A3返回值为None。

原因：Excel没有缓存公式的值。该文件是由openpyxl库创建的，可能该公式从未计算过，因此没有可用的缓存值，openpyxl将取不到任何值作为该值。

个人认为又是一个大坑。

Python用openpyxl无法读取excel文件中的公式计算后的值，被读取为None的解决办法及文件夹下.xlsx文件批量解决方法
hyzjkl的博客
09-03 2886
批量解决python利用openpyxl读取excel中公式结果值为None的情况
python忽略空单元格_Python：Openpyxl输出“ None”；用于空单元格
weixin_34902464的博客
01-14 1701
The below code should go through directories, open files, convert etc. The thing is when a cell is empty, the resulting CSV file outputs "None" in its place.Any reason why and can this be remedied?Tha...
Python中，openpyxl读取excel公式值，结果为None的解决办法
M_Power2的博客
07-03 1万+
转载自： Python 读取excel文件中带公式的值 读取excel中，公式的计算值： import openpyxl workbook = openpyxl.load_workbook(file_path, data_only=True) writed_sheet = workbook[sheet_name] str = writed_sheet.cell(0, 0).value print(str) 结果为：None 解决方案： 添加下列代码： from win32com.client impor
8.在python中用data_only=True设置显示excel表格中公式的结果为None的解决方法
w36680130的博客
07-27 356
8.在python中用data_only=True设置显示excel表格中公式的结果为None的解决方法
Python 操作 Excel 详解（openpyxl）
06-22 1081
官方文档：https://openpyxl.readthedocs.io 3 工作表 3.1 工作表操作（创建、修改、移动、复制、删除） 3.2 工作表信息 4 单元格 4.1 获取和修改单个单元格 根据上面的方式，我们可以通过循环来准备一些数据： 4.2.2 通过iter_rows()或iter_cols()迭代取值 也可以使用rows或columns属性遍历全部行或列，values属性取出所有值，它们都返回迭代器，但是注意只读模式下columns属性无效。 4.3 操作单元格 4.3.1
Python标准模块-subprocess
StarStudyStart的博客
12-20 1262
subprocess- 子进程管理 主要用于开启新的线程，并且连接它们的输入、输出、管道，从而获取返回值。 常用于在python内部执行cmd命令行，对于测试框架、执行各种系统命令有较好的应用场景 run函数 pass Popen 构造函数：执行子程序 class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=True
python之openpyxl，详解，实战
热门推荐
weixin_43044466的博客
10-20 2万+
一：excel基本概念 1： 一个excel表格文件包含一个工作簿（workbook），一个wb可以包含多个工作表（worksheets） 用户正在查看的表定义为激活的工作表（active sheet）。每个工作表都有行和列。行以数字1开始，列以字母A开始， 一个工作表由单元格（cell）组成，cell只存储两种数据类型，数字和字符串（除了纯数字，其它均为字符串类型） 2： 在excel中设计测试用例的时候，当代码里的值为None的时候，对应cell中不需要输入任何值，空读取出来就是None .
python操作excel并封装成exe文件_十一、使用QTableWidget，openpyxl处理excel，并打包为exe...
weixin_39531378的博客
12-20 713
目录一、背景介绍二、代码及成果三、代码分析四、打包为exe本实例主要使用了QTableWidget，openpyxl，利用openpyxl实现对excel文件的读取，QTableWidget实现对excel文件内容读取后，择需要信息在窗体上显示。之所以写该代码，是因为在同一项目的设计过程中(本人的工作是水工设计)，常使用纬地软件设计多段道路，每段道路的数模都会生成土方计算表，软件的默认命名难以区分...
python处理excel（基于openpyxl)
whiterkyle的博客
07-24 302
【代码】python处理excel（基于openpyxl)
python 处理excel公式_python 处理excel踩过的坑——data_only，公式全部丢失
weixin_39962356的博客
12-06 1581
用openpyxl读取excel的load_workbook有个data_only参数。yb_wb = load_workbook(u"D:\\Desktop\\xxx.xlsx", data_only=True)顾名思义，True时，只读data，忽略公式。但是有个情景是——得先保留公式，根据旧公式写入新公式。然后再读取值进行操作。也就是说先data_only = False,然后再data_o...
python openpyxl模块load_workbook()data_only参数
weixin_34101229的博客
10-20 1万+
Name: openpyxlVersion: 2.4.8参照官方文档wb = openpyxl.load_workbook(‘abc.xlsx’, data_only=True)当’abc.xlsx’被生成并在Excel程序中打开并保存之后（这个过程Excel会把公式结果计算出来），该文件附带有两套值，一套是公式全都没有计算的(data_only=False(默认))，一套是...
openpyxl读取Excel文件忽略单元格公式仅读取所显示的值
weixin_42636075的博客
12-08 1957
python之openpyxl读取Excel忽略公式，只读取值
Python中，读取excel公式值，结果为None的解决办法
ducanwang的博客
01-31 2892
Python中，读取excel公式值，结果为None的解决办法
Python读取Excel公式值，结果为None的解决办法
Evain_Wang的博客
12-12 1317
Python读取Excel公式列值为空的解决方案
python无法读取excel文字_python读取excel保存公式无法读取
weixin_39574287的博客
12-15 569
原因：以data_only=True或默认data_only=False打开会得到两种不同的结果，各自独立，即data_only=True状态下打开的，会发现公式结果为None(空值)或者一个计算好的常数，而不会看到它原本的公式是如何。而data_only=False则只会显示公式而已。因此，data_only=True状态下打开，如果最后用save()函数保存了，则原xlsx文件中，公式会被替换...
python 处理excel踩过的坑——data_only，公式全部丢失
weixin_30879833的博客
01-22 3069
用openpyxl读取excel的load_workbook有个data_only参数。 yb_wb = load_workbook(u"D:\\Desktop\\xxx.xlsx", data_only=True) 顾名思义，True时，只读data，忽略公式。 但是有个情景是——得先保留公式，根据旧公式写入新公式。然后再读取值进行操作。也就是说先data_only = Fal...
python 操作excel--openpyxl
唯有美食与爱不可辜负
07-30 431
准备工作 材料： xlsx文件 环境要求：适配 windows、linux 需求：对指定表格内容进行增、改，并保留原xlsx文件的样式和公式 场景分析 由于操作文件是xlsx, 所以xlrd、xlwt、xlutils这三个包已经不再适合我们的需求 由于xlwings 不支持liunx环境，排除 最终在从常用的选择，我选择了 openpyxl 读取原文件， 另存为 使用 load_workbook()读取excel load_workbook 的几种模式 read_only=False 只读模式，不可
[python][openpyxl]载入大文件时要加上read_only属性
tankloverainbow的博客
07-01 7516
当希望读一个占用空间较大的xlsx文件，如果不使用read_only属性，会产生“MemoryError”错误，原因是openpyxl会将整个xlsx文件的cell都载入内存，导致内存爆了。为了避免产生这种问题，需要加上在使用load_workbook()的时候，要加上read_only属性。from openpyxl import load_workbook wb = load_workbook...
from openpyxl import load_workbook import pandas as pd wb = load_workbook("large_file.xlsx", read_only=True) ws = wb.active rows = [] for i, row in enumerate(ws.iter_rows(values_only=True)): if i % 1000 == 0 and i > 0: # 每1000行处理一次 df_chunk = pd.DataFrame(rows) process_data(df_chunk) rows = [] rows.append(row) wb.close() 上面代码中，其中自定义函数process_data（）未定义，帮忙定义
最新发布
06-26
<think>我们正在讨论如何定义和使用自定义函数`process_data()`来处理通过openpyxl分块读取的Excel数据。根据之前的上下文，我们知道`iter_rows()`用于分块读取数据，而`process_data()`是用户自定义的，用于处理每个分块的数据。定义`process_data()`函数时，我们需要考虑以下方面：1.函数参数：通常接收一个分块的数据（例如，一个包含多行数据的列表，每行是一个元组或列表）2.函数内部：实现针对该分块数据的处理逻辑（如数据清洗、转换、分析、存储等）3.返回值：根据需求，可以返回处理结果，也可以不返回（例如，直接将处理结果保存到文件或数据库）下面我们将详细说明如何定义和实现`process_data()`函数。###步骤1：确定函数参数分块数据通常是通过`ws.iter_rows()`返回的一个生成器，我们每次迭代获取一个分块（多行）。在自定义函数中，我们将这个分块作为参数传入。例如：```pythondefprocess_data(chunk):#chunk:一个包含多行数据的列表，每行是一个元组（如果设置了values_only=True）或单元格对象的元组```###步骤2：实现处理逻辑在函数内部，我们可以对传入的分块数据进行处理。处理逻辑取决于具体需求，以下是一些常见操作：-将分块数据转换为PandasDataFrame以便进行数据分析-数据清洗（去除空值、重复值，格式转换等）-计算统计指标-将处理后的数据追加到文件或数据库中###步骤3：在分块循环中调用在分块读取Excel的循环中，每读取一个分块，就调用一次`process_data()`函数，并将当前分块作为参数传递。###示例代码下面是一个具体的示例，展示如何定义`process_data()`函数，并在分块处理Excel时使用它。```pythonimportpandasaspdfromopenpyxlimportload_workbook#自定义处理函数defprocess_data(chunk,chunk_index):"""处理一个数据分块:paramchunk:一个列表，其中每个元素是一行的数据（元组形式）:paramchunk_index:当前分块的索引（用于标识分块）"""#将分块数据转换为DataFrame（假设第一行是标题，但这里我们单独处理标题）#注意：如果我们的Excel第一行是标题，那么在第一次读取分块时应该单独处理，或者提前读取标题df_chunk=pd.DataFrame(chunk)#示例处理：打印分块大小print(f"处理分块{chunk_index},行数:{len(df_chunk)}")#进行一些数据处理，例如计算每列的平均值（仅数值列）#这里只是示例，实际处理逻辑根据需求而定ifnotdf_chunk.empty:#假设我们只处理数值列（这里简单示例，实际中可能需要判断类型）numeric_cols=df_chunk.select_dtypes(include='number').columnsiflen(numeric_cols)>0:means=df_chunk[numeric_cols].mean()print(f"分块{chunk_index}的平均值:\n{means}")#可以将处理后的分块保存到CSV文件（追加模式）或数据库#例如：保存到CSV#df_chunk.to_csv('processed_data.csv',mode='a',header=False,index=False)#主程序：分块读取Excel并处理defprocess_large_excel(file_path,chunk_size=1000):#以只读模式打开工作簿wb=load_workbook(filename=file_path,read_only=True)ws=wb.active#获取标题（假设第一行是标题）headers=[]forrowinws.iter_rows(min_row=1,max_row=1,values_only=True):headers=row#第一行作为标题current_row=2#从第二行开始读取数据（因为第一行是标题）chunk_index=0#分块索引whileTrue:#读取一个分块（从当前行开始，读取chunk_size行）rows=[]forrowinws.iter_rows(min_row=current_row,max_row=current_row+chunk_size-1,values_only=True):rows.append(row)#如果没有数据，跳出循环ifnotrows:break#处理当前分块process_data(rows,chunk_index)#更新行索引和分块索引current_row+=chunk_sizechunk_index+=1wb.close()#调用函数处理大Excel文件if__name__=="__main__":process_large_excel('large_file.xlsx',chunk_size=5000)```###注意事项1.**标题处理**：在示例中，我们假设第一行是标题，并在循环外单独读取。在分块处理数据时，我们跳过了第一行（从第二行开始读取）。2.**分块大小**：根据内存情况调整`chunk_size`。如果每个分块处理需要较多内存，可以适当减小分块大小。3.**数据转换**：在`process_data`函数中，我们将分块数据（列表）转换为DataFrame，这可能会消耗一定内存。如果数据量极大，可以考虑直接使用列表或元组进行处理，或者使用更高效的数据结构。4.**存储处理结果**：在示例中，我们只是打印了统计信息。实际应用中，可能需要将处理后的分块保存到文件（如CSV）或数据库中。注意在保存到CSV时，第一次写入需要写入标题，后续追加不需要。因此，可以在主函数中先写入标题，然后在`process_data`函数中追加数据（不包含标题）。###优化建议-如果处理逻辑复杂，考虑使用多进程/多线程处理不同分块（但注意线程安全）。-对于数值计算，使用NumPy或Pandas的向量化操作提高效率。-避免在循环内创建不必要的临时对象。通过以上方式，我们可以高效地处理大型Excel文件，而不会导致内存溢出。###相关问题1.如何在分块处理时保持数据的连续性（例如，跨分块的聚合计算）？2.如果Excel文件没有标题行，如何处理？3.在分块处理过程中出现错误，如何实现断点续处理？4.如何将分块处理后的数据直接写入数据库？</think>以下是如何定义和实现用于处理 Excel 分块数据的自定义函数 `process_data()` 的详细指南，结合 openpyxl 的分块读取功能： ### 自定义函数 `process_data()` 实现步骤 #### 1. 基础函数定义框架 ```python def process_data(chunk, chunk_index, output_handler=None): """ 处理Excel分块数据的自定义函数 :param chunk: 当前数据块（二维列表或元组） :param chunk_index: 当前分块序号（从0开始） :param output_handler: 输出处理器（文件/数据库等） :return: 处理后的数据或状态标志 """ # 1. 数据验证 if not chunk or len(chunk) == 0: return None # 2. 核心处理逻辑（根据需求实现） processed = [] for row in chunk: # 示例：过滤空行并转换数据类型 if any(cell is not None for cell in row): processed.append([str(cell).strip() if cell else '' for cell in row]) # 3. 结果输出（可选） if output_handler: output_handler(processed, chunk_index) # 4. 返回处理结果 return processed ``` #### 2. 结合分块读取的完整流程 ```python from openpyxl import load_workbook def excel_chunk_processor(file_path, chunk_size=1000): # 初始化工作簿（启用只读模式） wb = load_workbook(file_path, read_only=True) ws = wb.active # 分块处理参数 current_row = 1 total_rows = ws.max_row chunk_index = 0 # 分块处理循环 while current_row <= total_rows: # 计算当前分块边界 end_row = min(current_row + chunk_size - 1, total_rows) # 读取分块数据 chunk = list(ws.iter_rows( min_row=current_row, max_row=end_row, values_only=True )) # 调用自定义处理函数 process_data( chunk=chunk, chunk_index=chunk_index, output_handler=save_to_parquet # 示例输出处理器 ) # 更新位置 current_row = end_row + 1 chunk_index += 1 wb.close() # 示例输出处理器 def save_to_parquet(data, chunk_id): """保存分块数据到Parquet文件""" import pandas as pd df = pd.DataFrame(data) df.to_parquet(f"chunk_{chunk_id}.parquet") ``` #### 3. 典型处理场景实现 **场景1：数据清洗** ```python def process_data(chunk, chunk_index): cleaned = [] for row in chunk: # 移除空行 if all(cell is None for cell in row): continue # 转换数据类型 processed_row = [] for cell in row: if isinstance(cell, str): processed_row.append(cell.strip().upper()) elif isinstance(cell, (int, float)): processed_row.append(float(cell)) else: processed_row.append(cell) cleaned.append(processed_row) return cleaned ``` **场景2：聚合计算** ```python def process_data(chunk, chunk_index): # 初始化统计容器 stats = { 'total_sales': 0.0, 'max_value': float('-inf'), 'valid_rows': 0 } for row in chunk: # 假设第3列是销售额 if len(row) > 2 and isinstance(row[2], (int, float)): stats['total_sales'] += row[2] stats['max_value'] = max(stats['max_value'], row[2]) stats['valid_rows'] += 1 # 返回分块统计结果 return stats ``` **场景3：流式写入数据库** ```python def process_data(chunk, chunk_index, db_conn): import sqlite3 placeholders = ', '.join(['?'] * len(chunk[0])) query = f"INSERT INTO data VALUES ({placeholders})" with db_conn: db_conn.executemany(query, chunk) return f"Chunk {chunk_index}: Inserted {len(chunk)} rows" ``` ### 关键实现原则 1. **无状态设计**： ```python # 避免在函数内维护状态 def process_data(chunk): # 不使用外部变量 return [sum(row) for row in chunk if any(row)] ``` 2. **内存控制**： ```python # 使用生成器替代列表 def process_large_chunk(chunk): for row in chunk: yield transform(row) # 逐行处理 ``` 3. **异常处理**： ```python def process_data(chunk): try: # 处理逻辑 return result except Exception as e: logger.error(f"Chunk processing failed: {str(e)}") return None ``` ### 性能优化技巧 1. **向量化操作**（使用Pandas）： ```python def process_data(chunk): import pandas as pd df = pd.DataFrame(chunk) return df.apply(lambda x: x*2 if x.dtype == 'float' else x) ``` 2. **并行处理**： ```python from concurrent.futures import ThreadPoolExecutor def parallel_processing(chunks): with ThreadPoolExecutor() as executor: results = list(executor.map(process_data, chunks)) ``` 3. **内存映射文件**： ```python def process_data(chunk, mmap_file): # 直接操作内存映射区域 mmap_file.write(pack_data(chunk)) ``` ### 最佳实践建议 1. **分块大小调整公式**： $$ \text{chunk_size} = \frac{\text{available\_memory} \times 0.7}{\text{avg\_row\_size}} $$ 其中 $\text{avg\_row\_size}$ 可通过抽样估算 2. **处理进度监控**： ```python def process_data(chunk, chunk_index, total_chunks): # 添加进度显示 progress = (chunk_index + 1) / total_chunks * 100 print(f"Processing: {progress:.1f}%") # ...处理逻辑 ``` 3. **数据检查点**： ```python def process_data(chunk, chunk_index): result = do_processing(chunk) # 每10个分块保存一次状态 if chunk_index % 10 == 0: save_checkpoint(chunk_index) return result ``` ### 总结 - `process_data()` 是**完全自定义**的函数，核心职责是处理 `iter_rows()` 返回的分块数据 - 应设计为**无状态、幂等**的函数，确保分块处理的独立性 - 通过参数传递上下文信息（如分块序号、输出处理器） - 结合内存映射、流式处理和并行计算可显著提升百万行数据处理效率[^1][^4] --- ### 相关问题 1. 如何在分块处理过程中保持数据一致性（如全局计算）？ 2. 处理分块数据时如何正确处理表头信息？ 3. 自定义处理函数中如何实现增量聚合计算？ 4. 分块处理过程中发生错误如何实现断点续处理？[^4]
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值