Python入门(九):数据处理

python写入csv文件追加数据-python操作csv文件:读取、写入、末行追加 csv文件与txt文件类似,区别点就是在csv文件中,字段间使用“,”或“|”隔开,达到类似与表格的效果。csv文件可以使用记事本打开(打开可见分隔符“,”),也可使用excel打开(打开以表格形式显示,看不见分隔符)。注意:尽量不要使用wps打开,可能会打乱格式。#在操作csv文件时,需要导入csv库,csv是python内置库,无需下载import csv#读取csv文件内容#在操作csv文件... 阅读详情

数据处理

数据处理包括数据的表示、存储及相关处理。

一维数据的处理

数据表示

一维数据是最简单的数据组织类型,由于是线性结构,在Python语言中主要采用列表形式表示。如:

ls = ["小学,"初中","高中","大学"]

数据存储

一维数据的文件存储有多种方式,总体思路是采用特殊字符分隔各数据。
常用存储方法包括以下四种:

  1. 采用空格分隔元素:小学 初中 高中 大学
  2. 采用逗号分隔元素:小学,初中,高中,大学
  3. 采用换行分隔元素:
小学
初中
高中
大学
  1. 其他符号分隔元素:小学;初中;高中;大学

其中最常用的是逗号分隔元素的存储方法,其存储格式叫作CSV格式(Comma-Seperated Values,即逗号分隔值)。它是一种通用的、相对简单的文件格式,在商业和科学上广泛应用,一般采用.csv为扩展名。
列表对象输出为CSV格式文件方法如下,采用字符串的join()方法最为方便。

ls = ["小学","初中","高中","大学"]
f = open("city.csv","w")
f.write(",".join(ls))
f.close()

数据处理

对一维数据进行处理首先需要从CSV格式文件读入一维数据,并将其表示为列表对象。
需要注意的是,从CSV文件中获得内容时,最后一个元素后面包含了一个换行符("\n").对于数据的表达和使用来说,这个换行符是多余的,需要采用字符串的strip()方法去掉数据尾部的换行符,然后使用split()方法以逗号进行分割。

f = open("city.csv","r")
ls = f.read().strip("\n").split(",")
f.close()
print(ls)

由于一维数据采用列表形式表示,所以其处理与列表类型操作一致。

二位数据的处理

数据表示

二维数据由多个一维数据构成,可以看做是一维数据的组合形式。因此,
二维数据可以采用二维列表来表示,即列表的每个元素对应二维数据的一行,这个元素本身也是列表类型,其内部各元素对应这行中的各列值。

ls = [["学历","小学","初中","高中","大学"],
["学费",0,0,1000,5000]]

数据存储

二维数据由一维数据组成,用CSV文件格式存储。
CSV文件的每一行是一维数据,整个CSV文件是一个二维数据。
二维数据存储为CSV格式,需要将二维列表对象写入CSV格式文件以及将CSV格式读入成二维列表对象。其方法如下:

#ls为二维列表,此处省略
f = open("test_2.csv","w+")
for row in ls: #采用遍历循环方法逐行读入
	f.write(",".join(row)+"\n")
f.close()

数据处理

对二维数据进行处理首先需要从CSV格式文件中读入二维数据,并将其表示成二维列表对象。

f = open("test_2.csv","r")
ls = [ ]
for line in f:
	ls.append(line.strip("\n").split(",")
f.close()
print(ls)

二维数据处理等同于二维列表的操作。与一维列表不同,二维列表一般需要借助循环遍历实现对每个数据的处理,方法如下:

for row in ls:
	for item in row:
		<对第 row 行 第 item 列元素进行处理>
for row in ls:
	line = " "
	for item in row:
		line += "{:10}\t".format(item)
		print(line)
Python空间数据处理实战 前言 百度网盘视频:https://pan.baidu.com/s/1moFYT1lt-YazLGY9AGmm-g 优酷视频集合: Python基础 开发环境搭建及基本数据类型 运算符及字符串 序列与字典 流程控制语句 函数 面向对象编程初识 面向对象编程高级 Python科学计算 空间数据处理环境搭建 空间数据基础 空... 阅读详情

相关推荐

Python学习之路:九本推荐书籍助你精进

在编程语言的广阔天地中,Python以其简洁的语法、强大的生态和广泛的应用场景,成为当代最受欢迎的编程语言之一。对于不同阶段的Python学习者而言,选择合适的书籍能够显著提升学习效率,构建扎实的编程基础。本文精心推荐九本覆盖从入门到进阶的Python经典著作,助你在Python编程的道路上稳步前行。

一个梦想做程序员的编程小白 1306

Python 遍历文件夹下的csv文件导入到数据库

目录 代码 【question1】UnicodeDecodeError:'utf8'编解码器无法解码位置0中的字节0xa5 【question2】python文件、数据库读写编码的问题 【question3】Mysql执行insert语句,不报错,数据也插不进去 【question4】python代码出现OSError:[WinError 123] 文件名、目录名或卷标语法不正确 代码...

多喝i热水的博客 1444

量化交易入门:Python实现神奇九转指标与策略应用

在量化交易和程序化交易领域,技术指标是识别市场形态、构建交易策略的基础工具。其核心原理是通过数学公式对历史价格、成交量等数据进行计算,以揭示潜在的趋势、动量和反转信号。掌握指标的计算逻辑与实现,对于开发有效的量化策略具有重要技术价值。本文以广泛关注的“神奇九转”指标为例,深入剖析其基于价格序列比较的形态识别原理,并详细演示如何使用Python进行代码实现与策略化应用。通过结合成交量确认、价格位置过滤等工程实践方法,该指标可融入更系统的程序化交易框架,为量化策略开发提供参考。

weixin_30587927的博客 502

python读取CSV文件

python中有一个读写csv文件的包,直接import csv即可。利用这个python包可以很方便对csv文件进行操作,一些简单的用法如下。 1. 读文件 csv_reader = csv.reader(open('data.file', encoding='utf-8')) for row in csv_reader: print(row) 例如有如...

weixin_30352645的博客 428

大数据处理如何入门

通过明确需求、评估技术栈的性能和兼容性,并结合团队技能和行业经验,可以为项目选择最适合的技术栈,从而确保项目的成功实施和高效运行。在深入大数据领域之前,建议先掌握一些基础知识,包括数据类型、存储与处理的基本概念,以及常用的数据处理工具。可以选择一些小规模的项目,如数据清洗、数据分析等,逐步提升自己的能力。通过以上多维度的评估框架,可以全面、系统地评估大数据技术栈的成熟度,为企业提供科学的决策依据。通过以上步骤,你可以逐步掌握大数据处理的核心技术和方法,为未来的职业发展打下坚实的基础。

kcarly的专栏 1721

Python数据处理(入门教程)

创建和生成 本节主要介绍 array 的创建和生成。为什么会把这个放在最前面呢?主要有以下两个方面原因: 首先,在实际工作过程中,我们时不时需要验证或查看 array 相关的 API 或互操作。同时,有时候在使用 sklearn,matplotlib,PyTorch,Tensorflow 等工具时也需要一些简单的数据进行实验。 所以,先学会如何快速拿到一个 array 是有很多益处的。本节我们主要介绍以下几种常用的创建方式: 使用列表或元组 使用 arange 使用 lins

BYGFJ的博客 8932

导入csv文件时,如果最后一列没有数据,读取出来的集合比抬头字段少,和数据中包含","如何处理?

当时项目是需要导入csv文件进行处理后存入数据库持久化,在读取一行数据时,遇到了如下两个问题: 1, 因为csv文件每列数据读取出来后是一串由","号分隔的字符串,所以想将字符串变为数组(集合)时用.split(",")进行分隔,但发现一个问题,原始数据中,如果存在","时,原本一条数据就会被分隔成两条,从而出现错误.解决办法是使用.split(",(?=([^\"]*\"[^\"]*\")*[

y_hai_yang的博客 3737

python从入门到精通第三版,python入门到精通pdf微盘

大家好,本文将围绕python3.8从入门到精通pdf百度云下载展开说明,python入门到精通pdf百度云是一个很多人都想弄明白的事情,想搞清楚python从入门到精通第三版需要先了解以下几个事情。大家好,本文将围绕python3.8从入门到精通pdf百度云下载展开说明,python从入门到精通电子书下载是一个很多人都想弄明白的事情,想搞清楚python从入门到精通pdf免费下载需要先了解以下几个事情。

zjl102562的博客 1387

Python读取并遍历CSV数据

数据读取 直接通过Python自带的包读取CSV文件,读进来都是字符串格式,不好处理,所以安装pandas处理 # 读取csv文件,pandas会将CSV数据的第一行作为表头 data = pd.read_csv("test.csv") 本文以遥感影像数据为例,每一行表示一个像元的所对应的不同的参数或属性的值 数据处理 1.由于从CSV文件中读取的数据大多需要进行处理,所以转换为列表形式比较方便 # 遍历所有数据并存储到数组中 a = data.values.tolist() 2.统计该数据一

Arcgiser的博客 1万+

Python实战:云计算与大数据处理入门

Python实战:云计算与大数据处理入门 关键词: Python、云计算、大数据处理、Hadoop、Spark、Boto3、Azure SDK、Google Cloud SDK 摘

AI天才研究院 1757

Python数据处理实战:从入门到数据集分析

pandas是一个开源的Python数据分析库,它提供了高性能、易用的数据结构和数据分析工具。pandas的名称来源于panel data(面板数据,一种常见的经济学数据类型)和Python data analysis的组合。由于其强大的数据处理能力,pandas已成为数据分析领域中最为常用的工具之一。使用pandas,数据分析师可以轻松地进行数据导入、数据清洗、数据转换、数据统计和数据可视化等操作。这些功能使得pandas成为处理表格数据的理想选择。

weixin_29781865的博客 1083

带你从入门到精通——Python数据处理(九. Pandas中的分组聚合和透视)

需要传入传入原始数据的列名列表(如果传入多个列名,则会将多个列一起作为复合列索引),该列表中各列的每个取值会作为透视表结果的一个列索引;,它能够对大量数据进行汇总、分类和分析,其主要目的是帮助用户从复杂的数据集中提取有意义的信息,并以易于理解和解释的方式展示这些信息。需要传入原始数据的列名列表(如果传入多个列名,则会将多个列一起作为复合行索引),该列表中各列的每个取值会作为透视表结果的一个行索引;分组后的数据不能直接查看,可以使用分组后对象的。在Pandas中,可以使用。也可以使用分组后对象的。

2401_86480334的博客 1422

决策树(分类树、回归树)

决策树 前言:第一篇博客,最近看完决策树,想着归纳一下,也方便自己以后回顾。写的会比较全面一些,可能会有很多不太正确的地方,欢迎大家交流指正 : ) 决策树模型: 决策树模型是运用于分类以及回归的一种树结构。决策树由节点和有向边组成,一般一棵决策树包含一个根节点、若干内部节点和若干叶节点。决策树的决策过程需要从决策树的根节点开始,待测数据与决策树中的特征节点进行比较,并按照比较结果选...

你午睡了吗 9万+

跟我一起学 Python 数据处理(二):Python 入门基础

在当今数字化时代,数据处理能力变得愈发关键,而 Python 作为一门强大且易用的编程语言,在数据处理领域占据着重要地位。本系列博客旨在与大家一同深入学习 Python 数据处理,从基础入门逐步迈向高级应用,共同提升编程技能与数据处理水平

yyy173611的博客 8222

ADC(三)Guard ring的设计艺术:从单元到系统的隔离策略

本文深入探讨了ADC设计中Guard ring(保护环)从单元到系统的多层次隔离策略。文章分享了从新手到专家的认知升级过程,详细分析了在单元内部进行微隔离、在模块间建立噪声屏障以及在系统层面规划全局隔离带的实用方法与设计艺术,强调了Guard ring对于提升混合信号电路性能和可靠性的关键作用。

weixin_28312391的博客 152

HRnet的pytorch实现

HRnet的pytorch实现

奋土的博客 1953

Python在数据处理中的应用:从入门到精通

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你参加为期14天的创作挑战赛!在当今数字化时代,数据处理已成为各个领域不可或缺的一部分。无论是企业决策、科学研究还是日常的个人数据分析,掌握高效的数据处理技能都能让我们在信息的海洋中畅游。而Python,这门优雅且功能强大的编程语言,正是数据处理领域的得力工具。

程之编的博客 977

Endnote 导入参考文献的时候,格式错误太多了。et.al错误,国标GBT7714在endnote中的详细配置教程,适用于本科,硕士论文文献插入的模板

EndNote插入文献常遇到以下错误主要如下: 等、et al不分; 英文作者全名大写; 期刊名字使用了缩写(图片里没有体现;卷号、期号缺失时出现乱码,多了半个括号;页码范围略去了相同部分;没有悬挂缩进,本文全部解决,全网最细

sakura的博客 3万+

跟我一起学Python数据处理(七十四):数据处理工具与网页抓取入门

大家好!一直以来,我都坚信在学习的道路上,相互交流和共同进步是非常重要的。在Python数据处理这片充满挑战与机遇的领域,我也在持续学习和探索,希望借由这一系列的博客,能和大家一起深入钻研,共同成长。在上一篇博客中,我们学习了Jupyter notebook的相关知识,今天咱们接着来了解Python数据处理中的其他关键内容,包括一些实用的库和网页抓取技术。

yyy173611的博客 4232

正点原子lwIP实战指南——从FreeRTOS移植到网络应用开发

本文详细介绍了如何将轻量级TCP/IP协议栈lwIP移植到FreeRTOS实时操作系统上,并基于正点原子STM32开发板进行网络应用开发。内容涵盖从使用STM32CubeMX快速搭建工程、核心概念解析(RAW/NETCONN/Socket API),到关键的系统适配、驱动实现,并通过TCP Echo服务器和云台控制两个实战案例,手把手指导读者完成从移植到应用开发的全过程,帮助嵌入式开发者快速掌握lwIP在FreeRTOS环境下的稳定部署与开发技巧。

s4t5u6v的博客 1000

Linux系统之部署经典魔塔小游戏

Linux系统之部署经典魔塔小游戏

jks212454的博客 1817

Python数据处理:如何又快又好

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。第4章 用Python处理基于文件与基于feed的数据95。

m0_59236602的博客 1127

小红书图文笔记图像批量爬取:Python爬虫实战与反反爬策略全解析

在当今社交媒体盛行的时代,小红书作为中国领先的生活方式分享平台,积累了海量的优质图文内容。对于数据分析师、市场研究人员或内容创作者来说,能够高效获取这些数据具有重要意义。本文将详细介绍如何使用Python构建一个高效、稳定的小红书图文笔记图像批量爬取工具,涵盖最新技术栈和反反爬策略。本文详细介绍了如何使用Python构建一个高效、稳定的小红书图文笔记图像批量爬取系统。通过结合Playwright、aiohttp等现代工具,实现了从列表页采集到图片下载的完整流程。

2201_76125261的博客 2364

15个Python数据处理技巧(非常详细)零基础入门到精通,收藏这一篇就够了

别担心,我将用最接地气的语言,带你走进Python数据处理的世界,让你一看就会,一用就爽!(matplotlib.pyplot.boxplot() 或 pandas.DataFrame.describe()) 数据里有“怪胎”?(pandas.DataFrame.to_csv() 或 to_excel()) 处理完毕,该保存成果了?(pandas.DataFrame.dropna()或fillna()) 数据里总有不听话的空格?(pandas.DataFrame.query()) 不想要的数据?

Python_0011的博客 2514

Google Gemini 模型本地可视化

Google近期发布了Gemini模型,而且开放了Gemini Pro API,Gemini Pro 可免费使用!Gemini Pro支持全球180个国家的38种语言,目前接受文本、图片作为输入并生成文本作为输出。Gemini Pro的表现超越了其他同类模型,当前版本配备了 32K 文本上下文窗口,可免费使用,且其定价将十分有竞争力。Gemini Pro具备丰富的功能:函数调用、数据嵌入、语义检索、自定义知识嵌入以及聊天功能。

HJ_blog 1247

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【Python入门系列】第十七篇:Python大数据处理和分析

大数据处理和分析是指对大规模数据集进行收集、存储、处理和分析的过程。随着互联网和信息技术的发展,我们可以轻松地获取到大量的数据,这些数据包含着宝贵的信息和洞察力。然而,由于数据量庞大、复杂性高和多样性,传统的数据处理和分析方法已经无法胜任。大数据处理和分析的目标是从大规模数据集中提取有价值的信息和知识,以支持决策制定、业务优化和问题解决。它涉及到数据清洗、数据转换、数据存储、数据挖掘、数据建模和数据可视化等多个环节。在大数据处理和分析中,我们需要使用一些工具和技术来处理和分析数据。

杰西笔记 5830

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: Python入门(八):文件处理
下一篇: Python入门(零):了解Python
April_0911
博客等级 码龄10年 1404粉丝 84原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值