pandas整理

原创 已于 2022-11-28 14:28:52 修改 · 127 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #算法

于 2021-04-27 15:45:38 首次发布
本文介绍如何使用pandas处理数据，包括去除含有空unknownEntities的行，通过条件筛选和iloc操作，以及DataFrame的基本操作如dict转dataframe、复制行和单元格数据获取。重点讲解了groupby和排序的高级应用，适合数据分析师和开发者阅读。

去除空标签

unknownEntities字段为空的行去除

data.drop(data[pd.isna(data[‘unknownEntities’])].index, inplace=True)

如果是多个条件的话，在里面的[]的各个条件加括号，用& 或 | 组合条件

iloc

dataframe用iloc取每行的数据，但是只能有下标，两个维度都是

dict 转 dataframe

s = pd.Series(new_dict)
df = pd.DataFrame(s)
df.reset_index()
df.columns=['key','value']

复制行数据

dataframe.append(Serics) 
data = data.append([{col:d,col2:d2}])

取单元格数据

dataframe.iloc[index][‘cloumnName’]或者dataframe.loc[index,‘columnName’]

赋值

dataframe.loc[index,‘columnName’]

按列筛选

data[(data[‘col1’]==a) | (data[‘col2’]>b)]

groupby order head

先排序再group

df.sort_values(‘column’, ascending=False).groupby(‘column’).head(TOPK)

Python+networkx 网络可视化方法
zwy_0309的博客
10-23 3349
一、 背景 今天准备学习网络图networkx的基本操作。选择的用例为一百年以前美国一些社会科学家从报纸上搜集的“知名女士参加社会活动的记录”，表结构简化如下： 通过网络图能否找出社交中的明星呢？这里说的明星是指：参加社交活动较多且认识其他知名女士较多的Lady。 二、 思路 按照以上定义，我们首先探索数据，先找出参加活动较多的女士，结果如下，看起来W01、W03参加活动最多，她们是不是就是我们要找的“明星”呢？ 我们还需要找一下，这些人中，谁认识的人较多。这个目标怎么实现呢？老师给我们一个思路：假设参
Pandas整理（一）
qq_28309121的博客
01-11 986
sdata = pd.Series([i for i in range(6)], index=[i for i in 'ABCDEF']) print(sdata) print(sdata.index) print(sdata.values) # 返回结果如下 A 0 B 1 C 2 D 3 E 4 F 5 dtype: int64 Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object') [0 1 2 3 4 5]使用字典加列表创建df，使默认自增索引。
data.drop()
qq_43935857的博客
10-14 8151
data.drop('date', axis=1, inplace=True) 删除"data"这一列，并且覆盖源数据
Python中pandas dataframe删除一行或一列：drop函数
Wind_bow的博客
10-09 8540
用法：DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False) 在这里默认：axis=0，指删除index，因此删除columns时要指定axis=1； inplace=False，默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe； inplace=True，则会直接在原...
Spark中dataframe里data.drop()和data.na.drop()的区别
NOT_GUY的博客
05-22 7952
问题描述：原始数据data总行数是1303638，使用data.drop()后数据总行数是1303638，使用data.na.drop()后数据总行数是0；为啥data.drop()没有丢弃null或nan的数据？ 总结： 1）data.drop()如果不传递列名，不会做任何操作； 2）通过以下比较发现，drop是用来丢弃列的，而na.drop是用来丢弃行的； 3）通过以下比较发现，dataframe.drop是直接调用的dataset中drop接口； 4）如果想要...
DataFrame的“增删改查”之“删”：用drop()方法删除DF数据中的某一行数据
weixin_41855010的博客
02-11 5093
如果需要删除DF数据中的某一行，我们可以使用drop()方法，使用data=data.drop(‘index_name’)这句实现，注意在执行drop之后并没有直接修改原来的数据，而是需要把返回值重新赋值给data，另外要注意drop的参数是需要删除那一行的index值。如果是默认的index，则填写数字，删除之后这个数字消失了，其他行的index数值并没有发生变化，也就是说，第二行的index原...
Pandas数据整理
m0_59871294的博客
03-06 1348
1.Pandas中有两个主要的数据结构：Series和DataFrame。 Serise：一维的数据结构。Series是一个类似一维数组的对象，它能够保存任何类型的数据，主要由一组数据和与之相关的索引两部分构成。 构造方法创建：class pandas.Series（data = None，index = None，dtype = None， name = None，copy = False，fastpath = False）； 通过传入一个列表来创建一个Series类对象：例：# 创建Series类
【Python】使用pandas分析整理数据
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
05-17 1318
Python的pandas包是一个强大的数据分析工具，它提供了丰富的数据结构和函数，使得数据清洗、处理和分析变得简单高效 pandas最初由AQR Capital Management于2008年4月开发，作为金融数据分析工具。 它于2009年底开源，并由PyData开发团队继续开发和维护。 pandas的名称来源于面板数据（panel data）和Python数据分析（data analysis）的结合。
利用pandas整理订单，并根据地址对比进行分类
hwlaosan的博客
06-07 738
背景： 本人主要做新媒体运营，因为公司近期转向团购，所以开始处理团购订单，主要是留下有用数据，并进行商品、地址分类，方便分拣货物和物流配送。 而其中最繁琐的工作，就是根据地址分类，我们主要进行社区团购，涵盖附近十几个小区，有自己的物流配送师傅，但要根据小区，将货物分到配送员手上。所以，需要我们导出订单后，根据用户填写地址，分别归属到每个小区之下。订单虽说不多，基本在一百单到两百单上下，要每个地址进行对比，费时费力，还容易出错。 本着重复的工作大多是可以自动实现的，加上自学了几天pathon，就想利用p
Python简易项目工程：可实现从网页抓取数据并利用pandas进行表格整理
最新发布
01-21
内容概要：本文介绍了一个完整的 Python 项目，展示了如何编写一个程序自动获取网页中的表格数据，并使用 pandas 整理成 DataFrame 格式的表格。主要内容包括三个步骤：准备阶段，通过 pip 安装必要的三方库如 ...
pandas中drop()函数用法
weixin_42102444的博客
04-26 2万+
函数定义：DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False) 删除单个行 import pandas as pd import numpy as np from pandas import Series, DataFrame data = DataFrame(np.arange(16).reshap...
python pandas 之drop()函数
lhaniey的博客
05-10 8万+
drop函数的使用 （1）drop() 删除行和列 drop([ ],axis=0,inplace=True) drop([])，默认情况下删除某一行； 如果要删除某列，需要axis=1； 参数inplace 默认情况下为False，表示保持原来的数据不变，True 则表示在原来的数据上改变。 import pandas as pd import numpy as np da...
清洗数据 - 常用步骤总结
老鹰的博客
04-03 2616
前言 由于现在项目需要对获取到的数据进行清洗，而数据清洗也是机器学习和深度学习进入算法步前的一项重要任务，所以今天也特此总结一下个人常用的步骤，总结如下： Step1 : read csv Step2 : preview data Step3: check null value for every column Step4: complete null value Step5: featur...
dataframe.drop
菜菜鸟的博客
04-14 1万+
pandas.DataFrame.dropDataFrame.drop(labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise')[source]Return new object with labels in requested axis removed.Parameters:...
数据科学：pd.DataFrame.drop()
ab1213456的博客
07-03 1725
一、功能 删除集合中的整行或整列； 二、格式 df.drop(labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise') labels：指示标签，表示行标或列标； axis = 0：默认取 0，表示删除集合的行； a...
Pandas: Drop函数（Dataframe删除指定行列）
热门推荐
W_weiying的博客
11-29 12万+
isin函数  （请点击链接：isin函数提取和删除Dataframe指定行列） 更多原创PYTHON数据分析博文，请关注博文专栏（超链接：PYTHON数据分析）   本文介绍主要结介绍用Drop函数删除Dataframe指定行列： drop(labels=None, axis=0, index=None, columns=None,              level=None, in...
python基础pandas得drop()用法
legalhighhigh的博客
06-02 9万+
做数据处理得时候用到了pandas,体验不错，记录如下： import pandas as pd import numpy as np 直接可以用pandas生成随机数组 df = pd.DataFrame(np.random.randn(5,3),index = list('abcde'),columns = ['one','two','three']) 假设其中存在空数： ...
Python--使用技巧（查看类结构）
sunghosts的专栏
12-09 3043
对于我这样的初学者，大概没有比在编程中能够快速查找帮助文档更重要的事情了。 在Python命令行的编程环境中，查找类结构可以通过以下命令 import math dir(math) ['__doc__', '__name__', '__package__', 'acos', 'acosh', 'asin', 'asinh', 'atan', 'atan2', 'atanh', 'ceil',
pandas 字符串整理
10-20
Pandas是一个强大的Python数据分析库，它提供了许多用于处理字符串的函数和方法。在处理字符串时，我们经常需要进行一些整理和清理工作，例如去除空格、删除重复值、替换特定字符等。Pandas提供了一系列向量化字符串操作方法，可以快速高效地完成这些任务。 其中一些常用的方法包括： 1. str.strip()：去除字符串两端的空格或指定字符。 2. str.lower()和str.upper()：将字符串转换为小写或大写。 3. str.replace()：替换字符串中的指定字符。 4. str.split()：将字符串按照指定分隔符分割成列表。 5. str.cat()：将多个字符串拼接成一个字符串。 6. str.contains()：判断字符串是否包含指定字符。 7. str.extract()：从字符串中提取符合指定模式的子串。 8. str.len()：计算字符串长度。 9. str.isnumeric()：判断字符串是否为数字。 10. str.join()：将列表中的字符串按照指定字符拼接成一个字符串。 例如，可以使用df['姓名'].str.replace(' ','')方法去除数据集中姓名列中的空格，使得数据更加整洁。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值