DataFrame操作——数据读取

DataFrame的基本用法 定义一个空的DataFramedf = pd.DataFrame(data=None,columns=range(1,5),index=[0,1]) # 从列表定义,定义列名和行名dfdf = pd.DataFrame(columns={"a":"","b":""},index=[0,1,2]) #从字典定义df。 阅读详情

接着上一个博客,https://blog.youkuaiyun.com/waveplot/article/details/88666090

在Series和DataFrame介绍完后,也就是pandas的内置函数,也是一般我们学习pandas的重点。

pd.read_csv()

read函数有几个关键参数,以下介绍:

filepath:文件路径和文件名

sep:分隔符

header:指定读取文件的哪一行作为列的label

dtype:指定读取某一列读取时的格式

  • 文件读取函数,在没有特殊要求的情况下,只需要输入一个文件名就可以了也就是 filepath

为了显示方便,使用的是Jupyter 

没有什么技术含量,直接放进来就行,raw就是一个DataFrame了。

只不过我们这里读取的是一个CSV文件,那么问题来了,其他文件怎么读?

  • txt可不可以呢?当然,都是可以的。

txt文件读进来也是和Excel一样的。但是这里需要注意,文件存储的时候,字符之间是以空格区分的,

所以在数据读取的时候出现了错误。这时候就要使用sep参数

那么问题就又来了,既然是txt文件,那个数据存储的方式应该有多种,那么如何读取?

                                 

 

可以看到,read_csv() 函数以'sep'选项来区分txt字符之间的间隔的。

  • 上面是一些普通文件的读取,那如果是一些没有表头的数据呢?如果按照上面的读取方法是不是少了一行?那么这个时候就应该忽略表头,将文件全部视为要操作的值。

上面这个数据在读取时,不需要表头。因此借助 header 参数

如果自己要加上label的话,则需要将 header 赋上其他值

可以看到,文件中的第二行作为数据的label被读取了。

  • 很多人也有时很困扰,尤其是习惯了C++编程的同学。会表示:为什么文件读取可以同时存在字符串和数字?

当然,这是因为Python为我们进行了自动识别。但是我们如果有一些特殊要求呢?比如 010 如果正常读取的话就是10,而我们如果想要将其读入为 '010'字符串呢?

这时候就要用 dtype 参数了。

 

可以看到,dtype这个参数是非常有用的,它可以控制我们读取文件时,每一个数据的形式。

Pandas入门篇(二)-------Dataframe篇1(Dataframe基础知识以及单个Dataframe的处理)(机器学习前置技术栈) 本篇主要演示了Dataframe 属性、Dataframe 创建、Pandas 读取和保存数据、Dataframe 数据的选择、Dataframe 的常用方法、Dataframe 修改行列索引等内容,更多知识点请期待下期 阅读详情

相关推荐

Python读取处理Excel和csv文件【DataFrame】

python读取处理保存csv、Excel文件。创建空的dataframe,添加数据,保存成csv。将列表存成csv文件。求某一列的和、均值、最大值、最小值。查看某一列/所有列的类型。修改某一列的类型。pycharm输出全部数据,去掉省略号。dataframe保存成csv时,中文出现乱码。

JM1307hhh的博客 3804

python基础:小白自学pandas--DataFrame数据读取的方法

目录 一、直接用方括号[]取下标读取,DataFrame[列标签][行标签] 二、用DataFrame.loc[行标签,列标签]按照行/列标签名index读取 三、用DataFrame.iloc[行序列,列序列]按所在行/列号读取 四、DataFrame.ix[] 本人小白一枚,正在自学python,pandas模块的DataFrame数据类型是一个处理表格数据的强大工具,下面是我对读取DataFrame内指定数据的方法进行了初步学习与探索。 一、直接用方括号[]取下标读取,D...

m0_51367666的博客 2万+

2.pandas统计分析基础(读取数据、dataframe、索引)

笔记说明:本文是我的学习笔记,大部分内容整理自 黄红梅,张良均等.Python数据分析与应用[M].北京:人民邮电出版社,2018,80-130. 还有部分片断知识来自网络搜索补充。 推荐 这个博客帖子https://blog.youkuaiyun.com/hhtnan/article/details/80080240 文章目录1.读写文本文件1.1文本读取1.2文本文件储存1.3读写excel2. 掌握da...

菜鸟打怪升级副本 1402

Pyspark 读 DataFrame 的使用与基本操作

一、安装 基于 mac 操作系统 安装 jdk jdk 下载地址 安装 pyspark pip install pyspark 二、基本操作 2.1 建立SparkSession对象 一切操作之前需要先建立一个SparkSession对象(运行Spark code的Entrance point,可以理解为交互部件): 详见: pyspark.sql module from pyspark.sql import SparkSession spark = SparkSession.builder.ma

weixin_41888257的博客 1万+

Python Pandas读取文件和DataFrame、Series的基本使用

1.读取文件和数据属性的基本查看方法 数据类型 读取方法 csv,tsv,txt pd.read_csv(filepath) excel pd.read_excel(filepath) mysql pd.read_sql(filepath) 注意,读取mysql时,要先进行sql连接 import pymysql conn = pymysql.connect( host="127.0.0.1" user="root" password="123456" database

weixin_48826751的博客 2761

R语言使用RODBC包连接、操作SQLserver核access数据库、使用sqlFetch函数读取指定表中的全部数据并保存到dataframe中

R语言使用RODBC包连接、操作SQLserver核access数据库、使用sqlFetch函数读取指定表中的全部数据并保存到dataframe中

statistics+insight+vista+power 922

Python读取Excel内容;将读取的数据转换为list类型便于切片处理;列表的操作方法;pandas处理DataFrame类型数据;pandas操作;Python几种取整的方法

Python读取Excel内容;将读取的数据转换为list类型便于切片处理;列表的操作方法;pandas处理DataFrame类型数据

gqrblnp的博客 5508

Cadence——原理图相关教程

包含创建文件,原理图,元器件,规则检查,PDF与BOM清单输出,各类PCB网表

haonanyayaya的博客 1万+

学习Pandas 一(Pandas介绍、DataFrame结构、Series结构、Pandas基本数据操作、DataFrame运算、Pandas画图、文件读取与存储)

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考1、专门用于数据挖掘的开源python库(数据处理工具)。2、以Numpy为基础,借力Numpy模块在计算方面性能高的优势。3、基于matplotlib,能够简便的画图。4、独特的数据结构。func:自定义函数axis=0:默认是列,axis=1为行进行运算。

lyy18696365816的博客 436

产品经理必备知识——API接口

在古代,我们的传输信息的方式有很多,比如写信、飞鸽传书,以及在战争中使用的烽烟,才有了著名的烽火戏诸侯,但这些方式传输信息的效率终究还是无法满足高速发展的社会需要。如果你选择允许,app就会根据你的当前位置为你提供更加个性化的一些服务,当然也有一些app拿到你的位置信息做出损害用户利益的行为,所以还是需要谨慎授权。首先,看接口文档的场景一般是自身业务模块需要获取外部的数据,但又不想自己重新开发,寻找外部已经实现的有开放能力的供应商(包含企业内部的)。通过发送请求和响应消息的方式实现程序间的通信。

WBKJ_Noah_的博客 3458

NX工程图避坑指南:唐康林老师视频里没细说的10个实用技巧与隐藏设置

本文深入解析NX工程图中10个易被忽视的实用技巧与隐藏设置,涵盖视图更新、剖面线自定义、标注样式统一等核心问题。特别针对UG/NX8.5/NX10用户,提供从首选项设置到打印优化的完整解决方案,帮助工程师避开常见陷阱,提升制图效率与规范性。

weixin_28683689的博客 578

Series读取外部数据与Dataframe操作

文章目录pandas之Series创建pandas之Series切片和索引pandas之DataFrame numpy能够帮助我们处理数值,但是pandas除了处理数值之外(基于numpy),还能够帮助我们处理其他类型的数据 pandas的常用数据类型: 1.Series 一维,带标签数组 2.DataFrame 二维,Series容器 pandas之Series创建 pandas之Series切片和索引 # coding=utf-8 import numpy as np us_data = ".

m0_55111053的博客 1504

Claude Code(8):使用 skill-creator 打造属于测试人员的 Skills

本文介绍了如何使用Claude Code的skill-creator工具快速创建测试相关的Skills。skill-creator是一个专门用于创建新Skills的Skill,相比手动创建更高效。文章详细演示了安装skill-creator的步骤,并通过创建"测试计划编写助手"的实战案例,展示了如何通过对话方式定义Skill名称、触发条件和功能需求。skill-creator会自动生成完整的SKILL.md文件和目录结构,用户只需确认即可完成Skill创建。

blues_C的博客 528

重生归来,我要成功 Python 高手--day25 pandas文件读取与存储,DataFrame数据的操作

df=pd.read_csv('data/csv示例文件.csv',sep=',',encoding='gbk',index_col=0)df7['成绩排名'] = df7.成绩.rank(method='dense', ascending=False)df.groupby(['city','channel']).get_group(('北京','线下'))df7.country.replace('日本','jp',inplace=True)'姓名':['小明', '小美', '小强', '小兰'],

m0_68920281的博客 749

基于STM32L4XX、HAL库的ICM-42670-P姿态传感器驱动程序设计

sprintf(buffer, "温度: %.1f °C\r\n\r\n", sensor_data.temperature);sprintf(buffer, "陀螺仪: X=%.2f Y=%.2f Z=%.2f rad/s\r\n",sprintf(buffer, "加速度: X=%.2f Y=%.2f Z=%.2f m/s²\r\n",sprintf(buffer, "开始校准IMU,请保持传感器静止...\r\n");sprintf(buffer, "读取传感器数据失败\r\n");

zhusl6688的博客 643

梯度提升决策树GBDT原理与代码实例讲解

梯度提升决策树GBDT原理与代码实例讲解 1.背景介绍 1.1 机器学习发展历程 机器学习是人工智能领域的一个重要分支,旨在使计算机具备学习和改进自身性能的能力。随着大数据时代的到来,海量的数据为机器学习算法提供了广阔的应用空间。在

AI天才研究院 1090

【pandas1】数据结构之Series和【重要】数据结构之DataFrame、缺失数据、布尔选择器、索引、数据操作、基本算术方法、数据库数据读取常用属性及方法、文本文件读取、excel表格读取、

1. 基于Numpy构建 2 . pandas的出现,奠定了python数据分析领域的一哥地位pandas的主要功能 1. 具备诸多功能的两大数据结构都是基于Numpy构建出来的公司中使用频繁的是DataFrame,而Series是构成DataFrame的基础 , 即一个DataFrame可能由N个Series构成 2. 集成时间序列功能 3. 提供丰富的数学运算和操作(基于Numpy) 4. 灵活处理缺失数据。

linjun的博客 420

3.4 ISIS和OSPF之间路由引入

通过以上输出可以看到OSPF的路由引入到了IS-IS中。通过以上输出可以看到ISIS的路由没有传递给OSPF。通过以上输出可以看到OSPF的路由没有传递给ISIS。通过以上输出可以看到ISIS的路由被引入进了OSPF。掌握在IS-IS中引入OSPF路由的方法。掌握在OSPF中引入IS-IS路由的方法。图3-3:ISIS和OSPF之间路由引入。在R3上把ISIS的路由引入到OSPF。OSPF引入外部路由的缺省度量值为1。在R3上把OSPF的路由引入到ISIS。引入的外部路由类型为Type2。

lwljh134的博客 1803

Python数据分析三剑客学习笔记Day3——pandas包的使用:认识series类型,DataFrame类型,读取excel表格数据及数据操作

文章目录series类型初始化:索引——数据行标签值切片索引赋值DataFrame类型构造时间序列:构造DataFrame结构:使用字典传入数据:查看数据头尾数据查看类型:查看下标:查看列标:查看值:pandas读取数据及数据操作数据读入:若数据读入产生 Unnamed:0 列:行操作添加一行:删除一行:列操作增加一列:删除一列通过标签选择数据条件选择缺失值和异常值处理缺失值处理方法:判断缺失值填充缺失值删除缺失值处理异常值对异常值进行删除:数据保存第三次课作业(1)Pandas基础知识(2)数据操作 注意

无名小秃瓢的博客 5967

PCL:读写pcd点云的两种方式

本文介绍了PCL读写点云的两种方式:PCDReader,PCDWriter;loadPCDFile,savePCDFile.

孙悟空 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Pandas模块中的DataFrame数据操作

将Excel中的数据读入Pandas模块中的DataFrame结构,然后对数据进行增删查改等操作。

天际 4421

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

从HBase数据库表中读取数据动态转为DataFrame格式,方便后续用Spark SQL操作(scala实现)

个人研究后,才发现HBase存储的都是字符串类型,大部分函数都是byte[]字节类型来操作,需要用到HBaseTableCatalog类,需要导入hbase-spark-***.jar相关jar包,下载链接:http://maven.wso2.org/nexus/content/repositories/Apache/org/apache/hbase/hbase-spark/2.0.0-SNAPS

周源的专栏 4145

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Python-5:DataFrame操作 _1

DataFrame操作 _1 1. DataFrame创建 从list转换 #输入 In [1]: import pandas as pd ...: #创建DataFrame ...: a=[1,2,3,4] ...: b=list("abcd") #a,b长度需相等 ...: d=pd.DataFrame(a,b) ...: prin...

Python从入门到脱发-Week1 1093

PySpark操作MySQL及DataFrame常用操作整理

【代码】PySpark操作MySQL及DataFrame常用操作整理。

ynisd__的博客 476

【Pandas】Pandas的DataFrame按行插入list数据或者读取一行并存为csv文件

1 DataFrame插入一行 # 初始化一个空Dataframe import pandas as pd data_frame = pd.DataFrame(columns=['f0','f1', 'f2', 'f3','f4','f5','f6','f7', 'f8', 'f9','f10','f11','f12','f13', 'f14', 'f15','f16','f17'],index=[]) # 插入一行,如果需要插入多行,加个for循环即可 singlelist = [0,1,0,0,0,

BetterBench的博客 7994

pandas中的DataFrame类型

python pandas中DataFrame数据结构

weixin_42576837的博客 2124
上一篇: pandas DataFrame Series数据操作总结
下一篇: DataFrame操作——数据信息查询与预处理
waveplot
博客等级 码龄9年 1粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值