Python读取Excel数据:使用Pandas和OpenPyXL详解!

xlwings、openpyxl和pandas读取Excel文件速度比较 对于需要快速处理大型Excel文件的场景,pandas高效的读取速度和强大的数据处理功能是首选,openpyxl处理数据的速度与pandas稍逊色,但在Excel文件结构时表现出色。测试结果表明,在大型Excel文件的读取速度上,pandas表现最佳,openpyxl次之,而xlwings则相对较慢。经过三轮测试,我们得出了以下数据:在读取4万余条记录的情况下,xlwings平均耗时377.99秒,openpyxl平均耗时17.41秒,而pandas仅需10.19秒。# 读取原始表格数据。 阅读详情
AI摘要

在数据分析和处理中,Excel是常见数据源。Python的Pandas和OpenPyXL可用于读取Excel文件。本文介绍了安装相关库的准备工作,详细说明了用这两个库读取Excel数据的方法,如读取全量、指定工作表和列等,还对比了二者适用场景并给出完整代码示例。

包含编程籽料、学习路线图、爬虫代码、安装包等!【点击领取】

在日常的数据分析和处理中,Excel文件是最常见的数据源之一。Python提供了多种库来读取和处理Excel文件,其中最常用的是Pandas和OpenPyXL。本文将详细介绍如何使用这两个库来读取Excel文件中的数据,并提供一些实用的代码示例。

1. 准备工作
在开始之前,我们需要安装必要的Python库。如果你还没有安装这些库,可以使用以下命令进行安装:

pip install pandas openpyxl

Pandas:一个强大的数据处理库,支持读取和操作Excel文件。

OpenPyXL:一个专门用于处理Excel文件的库,支持.xlsx格式。

2. 使用Pandas读取Excel文件
Pandas是Python中最常用的数据处理库,它提供了简单易用的API来读取Excel文件。

2.1 读取整个Excel文件
使用pandas.read_excel()函数可以轻松读取Excel文件中的数据。以下是一个简单的示例:

import pandas as pd

# 读取Excel文件
file_path = "example.xlsx"
data = pd.read_excel(file_path)

# 显示前5行数据
print(data.head())

file_path:Excel文件的路径。

data:读取的数据会存储在一个Pandas的DataFrame对象中。

2.2 读取指定工作表
如果Excel文件中有多个工作表,可以通过sheet_name参数指定要读取的工作表。

# 读取指定工作表
sheet_name = "Sheet1"
data = pd.read_excel(file_path, sheet_name=sheet_name)

print(data.head())

2.3 读取指定列
如果只需要读取Excel文件中的某些列,可以使用usecols参数。

# 读取指定列
columns_to_read = ["Name", "Age", "Salary"]
data = pd.read_excel(file_path, usecols=columns_to_read)

print(data.head())

2.4 处理缺失值
Excel文件中可能存在缺失值(空单元格),Pandas会自动将这些缺失值标记为NaN。我们可以使用dropna()或fillna()方法来处理这些缺失值。

# 删除包含缺失值的行
data_cleaned = data.dropna()

# 用指定值填充缺失值
data_filled = data.fillna(0)

3. 使用OpenPyXL读取Excel文件
OpenPyXL是一个专门用于处理Excel文件的库,它提供了更底层的操作接口,适合需要精细控制Excel文件的场景。

3.1 读取Excel文件
以下是一个使用OpenPyXL读取Excel文件的示例:

from openpyxl import load_workbook

# 加载Excel文件
file_path = "example.xlsx"
workbook = load_workbook(file_path)

# 获取默认工作表
sheet = workbook.active

# 读取单元格数据
cell_value = sheet["A1"].value
print(f"单元格A1的值是: {cell_value}")

3.2 遍历工作表数据
可以使用循环遍历工作表中的所有行和列。

# 遍历所有行
for row in sheet.iter_rows(values_only=True):
    print(row)

values_only=True:只获取单元格的值,而不是单元格对象。

3.3 读取指定范围的数据
如果需要读取指定范围的数据,可以使用iter_rows()或iter_cols()方法。

# 读取A1到C3范围的数据
for row in sheet.iter_rows(min_row=1, max_row=3, min_col=1, max_col=3, values_only=True):
    print(row)

4. Pandas vs OpenPyXL:如何选择?
Pandas:适合需要快速读取和处理数据的场景,尤其是数据量较大时。Pandas提供了丰富的数据操作功能,如数据过滤、排序、分组等。

OpenPyXL:适合需要对Excel文件进行精细控制的场景,比如读取特定单元格、修改单元格样式等。

5. 完整代码示例
以下是一个完整的代码示例,演示如何使用Pandas和OpenPyXL读取Excel文件中的数据:

import pandas as pd
from openpyxl import load_workbook

# 使用Pandas读取Excel文件
def read_with_pandas(file_path):
    data = pd.read_excel(file_path)
    print("使用Pandas读取的数据:")
    print(data.head())

# 使用OpenPyXL读取Excel文件
def read_with_openpyxl(file_path):
    workbook = load_workbook(file_path)
    sheet = workbook.active
    print("使用OpenPyXL读取的数据:")
    for row in sheet.iter_rows(values_only=True):
        print(row)

if __name__ == "__main__":
    file_path = "example.xlsx"
    read_with_pandas(file_path)
    read_with_openpyxl(file_path)

6. 总结
本文介绍了如何使用Pandas和OpenPyXL读取Excel文件中的数据。Pandas适合快速处理数据,而OpenPyXL则适合需要精细控制的场景。根据你的需求选择合适的工具,可以大大提高工作效率。

最后:
希望你编程学习上不急不躁,按照计划有条不紊推进,把任何一件事做到极致,都是不容易的,加油,努力!相信自己!

文末福利
最后这里免费分享给大家一份Python全套学习资料,希望能帮到那些不满现状,想提升自己却又没有方向的朋友,也可以和我一起来学习交流呀。

包含编程资料、学习路线图、源代码、软件安装包等!【点击这里领取!】
① Python所有方向的学习路线图,清楚各个方向要学什么东西
② 100多节Python课程视频,涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例,学习不再是只会理论
④ 华为出品独家Python漫画教程,手机也能学习

在这里插入图片描述

Python读取10万行Excel耗时对比:openpyxl、pandas与calamine实测 Excel是数据分析与业务系统中极常见的文件格式,但当数据量增长到数十万行时,读取耗时会成为开发与数据处理人员必须考虑的问题。以.xlsx为例,其内部是zip压缩包包裹的多个XML文件,解析过程涉及解压、XML读取与字符串映射,性能瓶颈常源于纯Python实现与底层库的差异。pandas作为数据分析主流入口,读取时需依赖底层引擎,openpyxl功能全面但内存占用高,while Rust开发的python-calamine则在解析效率上表现突出。理解不同方案的原理与适用边界,有助于在批量导入、爬虫后处理、后 阅读详情

相关推荐

Python 读取 Excel 数据教程

在数据科学和分析领域,处理 Excel 文件是日常工作的一部分。Python 提供了多种库来读取和操作 Excel 文件,使得处理这些文件变得非常高效和方便。本文将介绍如何使用 Python 读取 Excel 数据,包括安装必要的库、读取数据、以及一些常见的操作和技巧。

weixin_51069555的博客 1416

利用Python中的openpyxl/Pandas库操作excel

xlrd库:从excel中读取数据,支持xls、xlsxxlwt库:对excel进行修改操作,不支持对xlsx格式的修改xlutils库:在xlw和xlrd中,对一个已存在的文件进行修改。openpyxl:主要针对xlsx格式的excel进行读取和编辑。

铁盒薄荷糖的博客 1万+

【实战】ESP32 + LN298N 实现电动推杆的闭环位置伺服控制

本文详细介绍了如何使用ESP32微控制器和LN298N电机驱动模块,为普通电动推杆增加编码器反馈,实现精准的闭环位置伺服控制。文章从硬件选型与接线讲起,深入解析了编码器四倍频计数原理与位置换算,并重点阐述了PID控制算法的核心思想、代码实现及参数整定方法,旨在帮助读者从零构建一个反应迅速、定位精准的智能执行器系统。

weixin_29195615的博客 318

python中读取Excel文件使用pandas、xlrd、openpyxl性能对比

假设有一个包含1000行、30列数据的Excel文件,我们可以使用以下代码对这三种方法进行性能测试。方法一:使用Pandas库。

蔷薇花开 4092

ADS SerDes仿真实战:深入解析Tx_Diff均衡器(EQ)参数对眼图质量的影响

本文以ADS仿真平台为基础,深入解析了SerDes设计中Tx_Diff均衡器(EQ)参数对信号完整性的核心影响。通过实战演示,详细对比了去加重(De-emphasis)与FIR抽头系数两种调节模式,揭示了它们如何有效对抗信道损耗与码间干扰,从而显著改善眼图的高度、宽度与抖动性能,为高速串行链路设计提供关键调优思路。

weixin_29230901的博客 226

英飞凌TC3xx的GTM模块到底有多强?从PWM生成到电机驱动,一篇讲透车载定时器核心

本文深入解析英飞凌TC3xx系列中的GTM模块在汽车电子领域的强大功能,从PWM生成到电机驱动的全链路设计。通过模块化架构和硬件级解决方案,GTM显著提升系统精度和响应速度,适用于电机控制、电源管理等复杂场景。文章结合实战经验,详细拆解GTM的技术实现和性能优势。

weixin_27741699的博客 204

python连接excel篇

python利用pandas库openpyxl库以及numpy库完成对excel的操作

weixin_45365818的博客 3078

零基础学习simulink-- 四旋翼和六旋翼无人机的建模与动力学分析

通过上述代码实现,您可以逐步创建和搭建一个多旋翼无人机(如四旋翼、六旋翼)的动力学模型,并结合自适应控制器进行仿真。该模型不仅考虑了无人机的基本动力学行为,还引入了空气阻力、螺旋桨之间的相互作用以及气流干扰等复杂效应,使得仿真结果更加接近实际情况。Simulink 提供了强大的建模和仿真工具,使得控制系统工程师能够快速构建复杂的控制算法,并将其应用于实际工程中。多旋翼无人机动力学建模:建立四旋翼和六旋翼无人机的动力学模型,包括平移运动和旋转运动方程。升力和扭矩模型。

amy_mhd的博客 388

Pandas与openpyxl库的 "完美" 融合!

你用过pandas+openpyxl吗?今天为大家分享一个Python自动化办公文档中,没有提到的知识点。前言用过Pandas和openpyxl库的同学都知道,这两个库是相互互补的。Pan...

小詹学python的博客 4962

如何用 ABAP 以程序方式把指定表项写入 Transport Request

本文探讨了在SAP系统中运输自定义配置表数据时如何确保主表和相关文本表数据同步运输的问题。文章分析了两种实现方案:一是直接操作CTS表结构(E071和E071K)手动添加运输条目,二是使用SOBJ对象类型自动推导依赖关系。重点阐述了第一种方法的实现细节,包括如何正确拼接表键值到TABKEY字段,并提供了示例代码说明如何将ZXA_HEADER主表和ZXA_HEADERT文本表数据同时加入运输请求。文章特别指出在全球化交付场景中,文本表缺失会导致界面显示异常,强调理解底层运输机制对解决此类问题的重要性。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 221

自定义配方画面的具体方法示例 - 嵌入式

自定义配方画面的具体方法示例 - 嵌入式在TIA博途WinCC中,您可以通过编程来创建自定义配方画面。这些画面可以用于显示和编辑您的嵌入式系统中的配方参数。下面是一个示例,展示了如何在WinCC中实现自定义配方画面的方法。首先,您需要创建一个新的画面,并添加必要的控件来显示和编辑配方参数。在WinCC中,您可以使用文本框、按钮和标签等控件来实现这一目的。以下是一个简单的示例,展示了如何创建一个具有文本框和按钮的配方画面:创建新画面:添加控件:编辑控件属性:编写脚本: 在这个示例中,我们定义了两个变量和来存储

CyberBytezZ的博客 1037

Python 操作 excel 详解(pandas)

Python pandas 操作 excel 详解

鱼丸丶粗面 1万+

第 1 章 Prometheus 监控 | Prometheus 入门

了解 Prometheus 监控系统,学会安装及了解页面功能。

甘蓝的专栏 486

Python深度挖掘:openpyxl和pandas的使用详细

openpyxl是一个专门用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件的Python库。它不依赖于Excel软件本身,可以直接操作Excel文件,非常适合自动化处理Excel报表。pandas是一个强大的开源数据分析和操作库,提供了高性能、易用的数据结构和数据分析工具。它特别适合处理表格数据(如Excel文件)和时间序列数据。注意:xlrd库用于读取旧版Excel文件(.xls),而openpyxl则用于处理.xlsx文件。

百锦再的博客 2万+

【C# + HALCON 机器视觉】HALCON经典算子:光流法运动分析(optical_flow_mg)

摘要:本文面向智能监控人流统计需求,研究C#与HALCON集成开发中optical_flow_mg算子的应用。通过RTSP获取视频流,利用光流法计算运动矢量,结合形态学操作与区域筛选实现行人区域分割,最终完成人流量统计与热力图可视化。详细阐述ROI局部处理等性能优化策略、try-catch异常捕获机制及跨平台集成方案。实验表明,该系统检测准确率达93.6%,单帧处理时间42ms,为公共场所人流量统计提供了完整可行的技术方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1441

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Python 使用 pandas 和 openpyxl 读取 excel 表格(读取指定行和列)

前言 在使用Python处理表格时,pandas 和 openpyxl是使用最多的两个库。现在我来简单记录一下这两个库在处理Excel表格时一些常用操作。 1、使用pandas操作excel表格 (1)读取指定单元格 # 导入pandas库,简写为pd import pandas as pd # 读取表格,使用openpyxl引擎,获取表名为表1的内容 df = pd.read_excel("test.xlsx", engine="openpyxl", sheet...

我的博客 3万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Python中用pandas和openpyxl向Excel填入数据,不覆盖源数据和格式

Python中处理Excel数据时,正常遇到需要Excel表中对几项数据统计后,填入源表对应的单元格里,平时我们用DataFrame的to_excel方法,填入Excel数据时,没办法源表指定的单元格写入数据,那我们怎么样才能不覆盖源表的条件下,填写数据那? 下面我讲一下用Pandas和openpyxl实现以上操作的方法。 要求:以上工作表中的人员学历情况汇总,填入相应的单元格。 1.先导入我们需要的两个库 #导入需要的类库 import pandas as pd from openpyxl impor

qq_35710067的博客 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

使用 Python 读取 Excel 数据——Pandas

通过本教程,你已经学习了如何使用 Python 读取 Excel 数据,并进行了数据处理和实际应用。pandas库为数据分析和处理提供了强大的工具,使得工作变得高效而灵活。无论是在数据分析、报表生成还是数据清洗中,掌握这些技能都将大大提高你的工作效率。如果你有任何问题或需要进一步的帮助,请随时在评论区留言,我们可以一起探讨和解决。

HYP_Coder的博客 1857

python3之Excel两种操作——openpyxl和pandas

pandas操作Excel请进:https://www.cnblogs.com/liulinghua90/p/9935642.html Excel 是 Windows 环境下流行的、强大的电子表格应用。openpyxl 模块让 Python 程序能读取和修改 Excel 电子表格文件。例如,可能有一个无聊的任务,需要从一个电子表格拷贝一些数据,粘贴到另一个电子表格中。或者可能需要从几千行中挑选几...

MIC01234的博客 1万+

Pandas与openpyxl库的超强结合,再见,Excel!

Pandas与openpyxl库的超强结合,再见,Excel!

数据分析与统计学之美 2万+

使用 Python 读取 Excel 数据的详细教程

通过pandas和openpyxl,你可以轻松读取 Excel 文件,并进行各种数据处理操作。pandas更适合快速、简单的数据分析,而openpyxl则适合需要对 Excel 文件进行更深入控制的场景。

Hellc007的博客 1万+

Python 读取 Excel 文件:openpyxl 与 pandas 实战对比

Excel 文件凭借直观的表格结构、丰富的格式支持,广泛应用于办公自动化、数据报表、日志存储等领域。在 Python 生态中,操作 Excel 的工具众多,其中 openpyxl 与 pandas 是最具代表性的两类工具——二者定位互补,覆盖不同场景的需求。

lbbxmx111的博客 1311

python除了熟悉的pandas,openpyxl库也很方便的读取Excel表内容

了解下电脑中的excel表格文件格式安装openpyxl库使用openpyxl库读取表格内容1 先准备一个表格‘python.xlsx’,表格中包含如下几个sheet页2 导入openpyxl库的load_workbook函数3 用一个图展示下读取表格常用的函数(WorkBook和Worksheet类中的函数)4 分别展示如何按单元格/按行/按列获取值4.1 几种获取不同sheet页对象的方式4.2 values属性函数:按行获取每个单元格的值。

kymppcds的博客 3119

python读取excel数据和提取图片

通过以上步骤,你应该已经成功安装了pandasopenpyxlPillow和numpy等必要的库。这些库将帮助你在Python中高效地读取和处理Excel文件,包括提取和处理其中的图片。在接下来的章节中,我们将详细介绍如何使用这些库来读取Excel文件中的数据和图片。## 3. 读取Excel文件在数据处理和分析的过程中,Excel文件是一种常见的数据存储格式。Python提供了多种库来读取和处理Excel文件,其中最常用的包括openpyxl和pandas。

全世界的博客 3523

openpyxl、xlrd、pandas读取Excel文件sheet

利用openpyxl、xlrd、pandas获取Excel表的sheet。 import openpyxl wb = openpyxl.load_workbook('ceshi.xlsx') Sheets = wb.sheetnames import xlrd wb = xlrd.open_workbook('ceshi.xlsx') wb.sheet_names() import...

Vulpes corsac 4016

python数据分析:使用pandas库读取和编辑Excel表

使用 Pandas,我们可以轻松地读取和写入Excel 文件,之前文章我们介绍了其他多种方法。使用前确保已经安装pandas和 openpyxl库(默认使用该库处理Excel文件)。

kymppcds的博客 2846
上一篇: Python绘图:坐标轴刻度及范围设置详解!
下一篇: Python字符串拼接的四种方法详解
Python_trys
博客等级 码龄2年 4369粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值