python关于pandas导入数据方法

FPGA驱动AD9516时钟芯片:SPI配置与VCO校准避坑指南 SPI通信是FPGA与外围芯片交互的基础协议,其核心在于时钟极性、相位配置及数据建立保持时间的精确控制。在高速时钟芯片如AD9516的应用中,SPI时序的微小偏差会导致寄存器写入失败,进而引发VCO校准异常和输出频率错误。正确的SPI实现能确保配置可靠性,广泛应用于ADC/DAC时钟树、高速收发器参考时钟等场景。本文深入剖析从官方软件到Verilog代码的完整链路,重点解决SPI时序、VCO校准顺序及输出使能等关键问题,帮助工程师快速定位并修复配置故障。 阅读详情

外部数据导入

导入excel文件

pandas导入excel用read_excel()方法:

import pandas as pd
excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8')复制代码
姓名  年龄    工作    工资
0   张三  25    学生      200
1   李四  24    工人     3000
2   王伟  28    NaN      5000
3  王二毛  22  自由职业   6000复制代码

第一个参数是路径,既可以使用绝对路径又可以使用相对路径,如果文件名含有汉字,注意指定设置一下属性encoding = 'utf-8' ,另设置 sheet_name 指定具体的Sheet名字,也可传入sheet的顺序,从0开始。

excel_file1 = pd.read_excel('data/test.xlsx',sheet_name = 0)复制代码

指定索引

行索引默认从0开始,通过 index_col 设置, header 设置行索引。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',index_col=0)复制代码
年龄    工作    年资
姓名                 
张三   25    学生      200
李四   24    工人     3000
王伟   28   NaN       5000
王二毛  22  自由职业   6000复制代码
excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',header=1)复制代码
张三  25    学生     200
0   李四  24    工人    3000
1   王伟  28   NaN      5000
2  王二毛  22  自由职业  6000复制代码

指定索引列

有时本地文件列数太多,可以设置 usercols 指定导入的列,也可以列表形式传入多个值,表示传入哪些列。

excel_file1 = pd.read_excel('data/测试.xlsx',encoding='utf-8',usecols=[0,2])复制代码
姓名    工作
0   张三    学生
1   李四    工人
2   王伟    NaN
3  王二毛  自由职业复制代码

常用方法

  • shape() 可以获取excel文件的行和列,以元祖形式返回;

  • info() 获取数据类型;

  • astype()   可转换列里面的数据类型,括号里是要转换的目标类型;如 df[列2].astype('float64') ;df['列'].dtype 可查看列的类型

  • isnull() 判断哪个值是缺失值;

  • dropna() 删除有缺失值的行,返回删除后的数据,传入参数how=all,要全为空值才会删除;

  • fillna() 括号内可直接填入要要填充的值,也可指定列填充,以 字典 形式传参;

  • drop_duplicates() 默认对所有重复值判断,默认保留 keep=first 第一个行值;通过 keep 修改,值可为last ,保留最后一个,还可设置 keep 为 False ,一个也不保留。另也可指定列名去重,如传入参数subset =['列名1,列名2'],注意是以列表形式传参;

  • head() 传入的参数代表获取前几行;

  • describe() 掌握数值的分布情况,如均值,最值,方差,分位数。

  • column 和 index 可设置 列索引 和 行索引 ,以 列表 形式传参;

  • set_index() 重新设置索引列,传入要指名要用做行索引的名称;

  • reset_index(level = None,drop=False,inplace = False) ,level指定要将层次化索引的第几级别转化为columns ,第一个索引为0级,第二个为1级,默认全部转化为columns。 drop 是否将原索引删掉, inplace是否修改原数据表;该方法常用于数据分组和数据透视表中。

  • rename() 重命名索引,可重新设置 columns 和 index ,以 字典 形式传参, key 为原值, value 为替换后的值。

导入CSV文件

pandas导入csv文件用read_csv()方法;

import pandas as pd
csv_file1 = pd.read_csv('.\\data\\train-pivot.csv',index_col=0,header=0,nrows = 2) 复制代码

通过 sep 设置分割符, encoding 指定编码格式。导入csv文件要指定为gbk,不然会报错,如果一个大文件你只需看前面几行,通过 nrows 设置。

import pandas as pd
csv_file1 = pd.read_csv('data/train-pivot.csv',encoding='gbk',nrows=2)
print(csv_file1)复制代码
用户ID 客户分类    区域 是否省会  7月销量  8月销量  
0  59224   A类  一线城市    是     6    20     0
1  55295   B类  三线城市    否    37    27    35复制代码

可以设置 usercols 指定导入的列。

用户ID    区域
0  59224  一线城市
1  55295  三线城市
2  46035  二线城市
3   2459  一线城市
4  22179  三线城市复制代码

导入sql

pandas中有 read_sql() 方法:

import pandas as pd
import pymysql
# 创建连接
conn = pymysql.connect(host = 'localhost',user = 'python',
                       password = 'passwd',db = 'test',
                       charset = 'utf-8'
                       )
'''
user:用户名
password:密码
host:数据库地址/本机用localhost
db:数据库名
charset:编码,一般为utf-8
'''
sql = "SELECT * FROM user" # 写要执行的sql语句
pd.read_sql(sql,conn)复制代码

源于https://www.codercto.com/a/73739.html

Python 导入数据(Pandas) 读取 Excel 文件时,首先 .xls 与 .xlsx 的格式不同,其次要考虑数据表带不带标题行,有时文件中还有多个工作表。读取文件时还会遇到数据缺失,非法字符。此外,对于大数据类的问题,所需处理的数据量可能非常大,必要时需对文件进行拆分或合并,也可以用 pandas 进行处理。常见的数据文件格式有文本文件(.txt)、Excel 文件(.xls, .xlsx)和 csv 文件(.csv)。对于文本文件 .txt 和 .dat,可以使用 pandas.read_table() 函数读取。 阅读详情

相关推荐

python_pandas读取csv、excel、dat文件

python_pandas读取csv、excel、dat文件csvexceldat csv import pandas as pd # 有表头: df = pd.read_csv(csv_file) # 无表头,通过names参数添加自定义表头名: df = pd.read_csv(csv_file, header=None, names=["表头名"]) 注意点:通过df[‘表头名’]读取的数据一般为str格式,使用 eval()函数将: 字典型字符串转化为字典; 列表型字符串转化为列表; 元组型字符数

春笋的博客 7526

python学习教程29-创建一个DataFrame

# 创建DataFrame import pandas as pd df = pd.DataFrame( { "姓名": ["小强", "小王", "小张", "小赵"], "性别": ["男", "女", "男", "女"], "年龄": ["18", "15", "17", "16"] } ) print(df) 输出: 姓名 性别 年龄 0 小强 男 18 1 小王 女 15 2 小张 男 17 ...

itmsn的专栏 1446

【笔记6】python导入txt数据的几种方法(IO操作、numpy函数、pandas操作)

前言 导入方法 0. 模块 1. IO操作 知识点 2. numpy函数 知识点 3. pandas函数 知识点 前言 数据的常见格式一般有:txt\csv\mat\Rdata,处理数据最常用的分析包是numpy和pandas,因此存储数据的常见的数据结构则是numpy中的ndarray和pandas中的series、dataframe,这次总结了几种将txt数...

occamo的博客 2万+

python | Pandas库导入Excel数据(xlsx格式文件)函数:read_excel()

# 导入需要的库 import pandas as pd import openpyxl # 使用pd.read_excel中需要保证openpyxl库已安装,但可以不导入。 # 数据源 # 写入路径 shuju1 = pd.read_excel(r'E:\2022Python\数据源.xlsx') # 'r'是转义字符,避免路径中的'\'被转译 # shuju1 = pd.read_excel('E:/2022Python/数据源.xlsx') # 也可以不加'r',但要变为'/'

m0_61523149的博客 3万+

Python数据分析项目实战(045)——Pandas数据导入常用方法

本文介绍了Pandas库中常用的数据读取函数,包括:read_csv()读取CSV文件,read_excel()读取Excel文件,read_pickle()读取pickle格式文件,read_clipboard()从剪贴板获取数据,read_hdf()读取HDF5文件,read_html()解析HTML表格,read_json()读取JSON数据,read_feather()读取Feather格式文件,以及read_sql()从SQL数据库查询数据。每个函数都配有示例代码,展示了如何将不同格式的数据转换为

谷哥的小弟 255

2024.6.15丨基于VFDB数据库的致病菌毒力因子注释实战指南

本文提供了一份基于VFDB数据库进行致病菌毒力因子本地化注释的实战指南。详细介绍了从环境准备、DIAMOND工具安装、VFDB数据库选择与构建,到核心比对操作及结果解读与过滤的全流程。重点阐述了本地化分析相较于在线工具在速度、稳定性和批量处理上的优势,旨在帮助微生物基因组研究人员高效、精准地识别致病菌的关键毒力因子。

weixin_29220405的博客 270

使用Python进行数据分析时,CSV文件导入的两种方法介绍 :numpy 和 pandas

在使用 Python 进行数据分析时,CSV(逗号分隔值)文件是一种常见的数据存储格式。下面将介绍使用numpy和pandas两种库导入 CSV 文件的方法。

19970108018 971

【鸿蒙实战开发】HarmonyOS申请调试签名证书过程

这份鸿蒙(HarmonyOS NEXT)资料包含了鸿蒙开发必掌握的核心知识要点,内容包含了(ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等)鸿蒙(HarmonyOS NEXT)技术知识点。

HarmonyOS_002的博客 3561

使用Python进行数据分析时,CSV文件导入的两种方法 | numpy | pandas

今天来分享一下,我们使用Python进行数据分析的时候,CSV文件导入的两种方法。

人生苦短, 还不用Python? 3350

【嵌入式硬件】DRV8874电机驱动

1)N沟道H桥电机驱动;2)驱动1个双向有刷直流电机;3)2个单向有刷直流电机;4)4.5V-37V工作电压范围;5)集成电流感测和调节;6)成比例电流输出(IPROPI);7)可选电流调节(IMODE):逐周期或固定关断时间;8)支持1.8、3V、5V逻辑输入;9)集成保护:欠压、电荷泵欠压、过流保护、输出关闭、热关断、自动故障恢复。

qq_39200110的博客 4422

深度学习助力台风路径预测:技术剖析与实战应用全攻略(基于LSTM模型)

摘要:深度学习技术在台风路径预测领域展现出巨大潜力。通过融合多源气象数据,深度学习模型如LSTM能有效处理时间序列数据,捕捉台风路径变化规律。与传统方法相比,深度学习模型在自动特征学习和处理复杂模式方面具有独特优势,提高了预测的准确性和实时性。然而,挑战依然存在,包括数据质量问题、模型可解释性不足以及极端台风的复杂性。未来,随着观测技术的进步和新算法的开发,深度学习将在台风路径预测中发挥更大作用,为防灾减灾提供更精准的决策支持。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 2228

python如何导入外部数据_详解pandas的外部数据导入与常用方法

详解pandas的外部数据导入与常用方法来源:中文源码网浏览: 次日期:2019年11月5日【下载文档:详解pandas的外部数据导入与常用方法.txt】(友情提示:右键点上行txt文档名->目标另存为)详解pandas的外部数据导入与常用方法外部数据导入导入excel文件pandas导入excel用read_excel()方法:import pandas as pde...

weixin_42208552的博客 789

【STM32项目】基于STM32设计的震动马达超声波电机高频震动——高级定时器PWM互补输出带死区控制__资料编号3

实现高级定时器互补输出带死区控制,实现震动/超声波电机/马达,高频震动。使用 STM32F103 芯片输出两路互补 PWM,并带有死区和刹车控制功能。定时器 1 通道 1 及其互补通道输出PWM,且带死区控。当定时器 1 的刹车输入引脚被拉高时,产生刹车时间,即定时器 8 停止输出 PWM。当刹车输入引脚被拉高时,通道 1 和通道 2 将从有波形输入状态转换成无效电平状态。

嵌入式阿齐Archie 6742

python 导入数据后保留某些字段_Python处理数据常用方法(pandas版)

本文为我日常工作中常用功能的代码块,可以满足绝大部分文本数据处理的需求。首先导入常用的包import pandas as pd本文假设所使用的excel文件目录为 C:/Users/Administrator/Desktop名称为 test.xlsxdf 为 定义好的Dataframe格式数据1 读取excel文件到dataframe中df = pd.read_excel(r'C:/Users/...

weixin_39878401的博客 1375

【制作100个unity游戏之22】3DRPG游戏开发07——其他详细的设计

我们会有有很多单例,如果每个单例都去写会很麻烦,所以我们定义泛型单例模式 Singleton,我们将所有的单例都继承这个泛型单例,就省略很多重复的工作定义一个GameManager类,继承Singleton,控制整个游戏的进度,比如如果主角死了,广播,游戏结束调用。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 2577

Claude Code 100个真实案例 - 用AI搭建LangChain多工具Agent(自主搜索+查询)

本案例展示如何使用 Claude Code 搭建一个 LangChain 多工具 Agent 系统。Agent 能够自主决定调用搜索引擎、数据库查询、天气查询、计算器等工具,像人类助手一样拆解问题并逐步解决。

yueyeguzhuo的专栏 558

python怎么导入数据集keras_导入图像(.jpg)数据集Keras、Pandas的正确方法

你提到熊猫,但我认为那不能解决你的问题。在你为什么不写自己的解决方案呢?在您可以尝试实现scikit-learn的方式。在示例代码# Author: Gael Varoquaux # License: BSD 3 clauseimport matplotlib.pyplot as plt# Import datasets, classifiers and performance metricsfr...

weixin_39982537的博客 802

行测测评——矩阵、圆形、环形三角图形数列推理解题技巧

写在前面:各大公司的测评做的让人眼花缭乱,很多题型都是第一次见,比如逻辑关系、信息推理,最难的要属找规律的数字推理了。根据B站UP主刘文超老师的课程,记录一下解题技巧。感谢UP主的无私奉献,原地址连接:https://www.bilibili.com/video/BV1it411M7o2?t=528&p=7 解题技巧: 从图形的上下、左右、交叉 角度进行尝试求解 基本法则是“加、减、乘、除、倍数、次方”六种形态。 一、有心数阵 解题技巧:周边数字通过某种运算得到中间数字 1.周边数..

涵盖了计算机专业基础知识、数学建模相关实践、复杂网络论文研究、LeetCode算法刷题经验、C语言开发经验、前端Vue、React框架开发实战相关知识 8642

关于python使用pandas导入dat数据文件的方法(可导入任意dat数据文件和csv数据文件)

我相信大家在学习python中会遇到一些很苦恼的数据导入问题,csdn上面的数据导入五花八门,大多是在特定条件实行的数据导入,我在学习机器学习分类算法实现中发现csdn上面有很多dat数据文件,所以想要利用这些dat数据文件,但不知道如何导入,经过一番摸索,有一种方法可以完全实现dat文件转化为csv文件导入python: 首先下载一个dat文件 直接将后缀改成xlsx,打开文件发现dat数据文件的格式是这样的: 可以看到这些数据只有一列,所有得想办法把他们分开,具体办法就是excell的分列操作,很简

ChangHongYin的博客 8658

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Python疑难杂症(20)---介绍Python的pandas模块中将数据导入内存和导出数据的方法,以及一些参数的用法。

Python的pandas模块中数据框这种数据类型,可以通过文件导入函数,将磁盘上的csv、execl等类型的文件装入内容,并生成数据框的格式,然后使用pandas的专有方法进行处理。

m0_59917021的博客 1294

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

pandas 合并所有列_Python学习:Pandas库

pandas包含数据结构和数据处理工具的设计使得在Python中进行数据清洗和分析非常快捷。pandas经常是和NumPy,Scipy以及数据可视化工具matplotlib一起使用的。pandas支持大部分NumPy语言风格的数组计算,但最大的不同在于pandas是用于处理表格型或异质型数据的。而NumPy更适合处理同质型的数值类数组数据。 在第一次学习Pandas的过程中,你会发现你需要...

weixin_39521520的博客 120

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

pandas 合并所有列_Python学习:Pandas库+练习资料

pandas包含数据结构和数据处理工具的设计使得在Python中进行数据清洗和分析非常快捷。pandas经常是和NumPy,Scipy以及数据可视化工具matplotlib一起使用的。pandas支持大部分NumPy语言风格的数组计算,但最大的不同在于pandas是用于处理表格型或异质型数据的。而NumPy更适合处理同质型的数值类数组数据。在第一次学习Pandas的过程中,你会发现你需要记忆很多的...

weixin_39969257的博客 115

如何将数据导入python

通过Pandas来导入CSV文件要使用pandas.read_csv()函数。这个函数的返回值是DataFrame,可以很方便的进行下一步的处理,实际操作过程中推荐使用这种方法。这个类库中的reader()函数用来导入CSV文件。也可以使用NumPy的loadtxt()函数导入数据。使用这个函数处理的数据没有文件头,并且所有的数据结构都是一样的,也就是说,数据类型是一样的。names=['作业日期','ηCO','ηH2','TF(℃)','TC(℃)','mass','送风流量']

hakesashou的博客 624

python如何导入pandas_如何将pandas导入到Python COM对象中

我必须在VBA和Python之间来回传递数据。在我还需要VBA中的Python Obj来使用Pandas库(以及其他库,如numpy…)。在如果我根本不尝试导入pandas,则对象创建成功并正常工作(但没有使用pandas)。传递给Python对象的任何VBA数组都被识别为元组的元组我需要将数据输入(元组的元组)转换为pandas数据帧。所以我的图书馆.py然后我将“pandas”添加到导入列表中...

weixin_42579969的博客 1199

python之pandas数据导入

pandas数据导入 学习python最好的学习方法就是带着自己的工作需求或者目标去学习。pandas库不多介绍,先放一些最基础的内容帮助学习。 pandas导入/导出数据是非常方便的,可以快速的导入现在常见的excel、csv、txt,以下就是一些常用的 导入数据: pd.read_csv(filename):从CSV文件导入数据 pd.read_table(filename):从限定...

黄俊文的博客 1万+
上一篇: 回归决策树API
下一篇: 异常数据处理
NongfuSpring-wu
博客等级 码龄9年 19粉丝 77原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值