Datawhale组队学习(Pandas) task9-分类数据

最新推荐文章于 2025-03-02 08:51:50 发布
最新推荐文章于 2025-03-02 08:51:50 发布
阅读量289 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： datawhale组队学习 code
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mintminty/article/details/112340618

第九章 分类数据

import numpy as np
import pandas as pd

cat对象

cat对象的属性

category类型，处理分类类型变量，将普通序列转化成分类变量可使用astype方法

df = pd.read_csv('data/learn_pandas.csv',usecols=['Grade', 'Name', 'Gender', 'Height', 'Weight'])
df.head()
GradeNameGenderHeightWeight
0FreshmanGaopeng YangFemale158.946.0
1FreshmanChangqiang YouMale166.570.0
2SeniorMei SunMale188.989.0
3SophomoreXiaojuan SunFemaleNaN41.0
4SophomoreGaojuan YouMale174.074.0
s = df.Grade.astype('category')

s.head()

0     Freshman
1     Freshman
2       Senior
3    Sophomore
4    Sophomore
Name: Grade, dtype: category
Categories (4, object): ['Freshman', 'Junior', 'Senior', 'Sophomore']

# 组成部分之一：类别本身，以Index类型存储
s.cat.categories

Index(['Freshman', 'Junior', 'Senior', 'Sophomore'], dtype='object')

# 组成部分之二：是否有序
s.cat.ordered

False

# 每个序列类别会被赋予唯一整数编号，编号取决于cat.categories中的顺序
# 通过codes访问该属性
s.cat.codes.head()

0    0
1    0
2    2
3    3
4    3
dtype: int8

类别的增加、删除和修改

# 类别的增加
s = s.cat.add_categories('Graduate')
s.cat.categories

Index(['Freshman', 'Junior', 'Senior', 'Sophomore', 'Graduate'], dtype='object')

# 类别的删除
s = s.cat.remove_categories('Freshman')
s.cat.categories

Index(['Junior', 'Senior', 'Sophomore', 'Graduate'], dtype='object')

# 直接设置序列的新类别，原来类别中如果存在元素不属于新类别 则被设置为缺失
s = s.cat.set_categories(['Sophomore','PhD'])
s.cat.categories
s.head()

0          NaN
1          NaN
2          NaN
3    Sophomore
4    Sophomore
Name: Grade, dtype: category
Categories (2, object): ['Sophomore', 'PhD']

# 删除未出现在序列中的类别
s = s.cat.remove_unused_categories()  # 移除了未出现的博士类别
s.cat.categories

Index(['Sophomore'], dtype='object')

# 修改
s = s.cat.rename_categories({'Sophomore':'本科二年级学生'})
s.head()

有序分类

序的建立

s = df.Grade.astype('category')
s.head

<bound method NDFrame.head of 0       Freshman
1       Freshman
2         Senior
3      Sophomore
4      Sophomore
         ...    
195       Junior
196       Senior
197       Senior
198       Senior
199    Sophomore
Name: Grade, Length: 200, dtype: category
Categories (4, object): ['Freshman', 'Junior', 'Senior', 'Sophomore']>

s = s.cat.reorder_categories(['Freshman', 'Sophomore', 'Junior', 'Senior'],ordered=True)
s.head()

0     Freshman
1     Freshman
2       Senior
3    Sophomore
4    Sophomore
Name: Grade, dtype: category
Categories (4, object): ['Freshman' < 'Sophomore' < 'Junior' < 'Senior']

s.cat.as_unordered().head()

0     Freshman
1     Freshman
2       Senior
3    Sophomore
4    Sophomore
Name: Grade, dtype: category
Categories (4, object): ['Freshman', 'Sophomore', 'Junior', 'Senior']

排序和比较

df.Grade = df.Grade.astype('category')
df.Grade = df.Grade.cat.reorder_categories(['Freshman', 'Sophomore', 'Junior', 'Senior'],ordered=True)
df.sort_values('Grade').head()  # 值排序
GradeNameGenderHeightWeight
0FreshmanGaopeng YangFemale158.946.0
105FreshmanQiang ShiFemale164.552.0
96FreshmanChangmei FengFemale163.856.0
88FreshmanXiaopeng HanFemale164.153.0
81FreshmanYanli ZhangFemale165.152.0
df.set_index('Grade').sort_index().head()
NameGenderHeightWeight
Grade
FreshmanGaopeng YangFemale158.946.0
FreshmanQiang ShiFemale164.552.0
FreshmanChangmei FengFemale163.856.0
FreshmanXiaopeng HanFemale164.153.0
FreshmanYanli ZhangFemale165.152.0
df.head()
GradeNameGenderHeightWeight
0FreshmanGaopeng YangFemale158.946.0
1FreshmanChangqiang YouMale166.570.0
2SeniorMei SunMale188.989.0
3SophomoreXiaojuan SunFemaleNaN41.0
4SophomoreGaojuan YouMale174.074.0
res1 = df.Grade == 'Sophomore'  # 和标量比较
res1

0      False
1      False
2      False
3       True
4       True
       ...  
195    False
196    False
197    False
198    False
199     True
Name: Grade, Length: 200, dtype: bool

res2 = df.Grade == ['PhD']*df.shape[0]  # 和同长度list
res2.head()

0    False
1    False
2    False
3    False
4    False
Name: Grade, dtype: bool

# ['Freshman' < 'Sophomore' < 'Junior' < 'Senior']
res3 = df.Grade <= 'Sophomore'
res3.head()

0     True
1     True
2    False
3     True
4     True
Name: Grade, dtype: bool

# sample()用于从DataFrame中随机选择行和列
# n ：指定获取的数量，默认为1
# axis：指定随机获取的是行还是列。0表示行，1表示列，默认为0
# weights：指定权重信息，需要与 行或者列的数目相等，为列表
# frac：百分比，随机获取的百分比比重
df_demo = df.Grade.sample(frac=1).reset_index(drop=True) # 打乱后比较
df_demo.head()

0     Freshman
1    Sophomore
2    Sophomore
3       Junior
4       Senior
Name: Grade, dtype: category
Categories (4, object): ['Freshman' < 'Sophomore' < 'Junior' < 'Senior']

res4 = df.Grade <= df.Grade.sample(frac=1).reset_index(drop=True)
res4.head()

0     True
1     True
2    False
3     True
4     True
Name: Grade, dtype: bool

区间类别

利用cut和qcut进行区间构造

区间是特殊的类别，通过cut/qcut可以实现将原序列的数值特征装箱，即用区间位置代替原来的数值位置。

  • 区间默认左开右闭，需要进行调整把最小值包含进去，最小区间左端点- 0.001*(max-min)
  • 需要指定左闭右开时，需要right=False，同时最大的区间右端点 + 0.001*(max-min)
s = pd.Series([1,2])

# 左开右闭
pd.cut(s, bins=2)

0    (0.999, 1.5]
1      (1.5, 2.0]
dtype: category
Categories (2, interval[float64]): [(0.999, 1.5] < (1.5, 2.0]]

# 左闭右开
pd.cut(s, bins=2, right=False)

0      [1.0, 1.5)
1    [1.5, 2.001)
dtype: category
Categories (2, interval[float64]): [[1.0, 1.5) < [1.5, 2.001)]

# 指定区间分割点列表
# np.infty可表示无穷大
pd.cut(s, bins=[-np.infty, 1.2, 1.8, 2.2, np.infty])

0    (-inf, 1.2]
1     (1.8, 2.2]
dtype: category
Categories (4, interval[float64]): [(-inf, 1.2] < (1.2, 1.8] < (1.8, 2.2] < (2.2, inf]]

# labels：区间名字
# retbins：是否返回分割点（默认不返回）
s = pd.Series([1,2])
res = pd.cut(s, bins=2, labels=['small', 'big'], retbins=True)
res

(0    small
 1      big
 dtype: category
 Categories (2, object): ['small' < 'big'],
 array([0.999, 1.5  , 2.   ]))

# qcut中，参数q(quantile)为整数n时，指按照n等分位数把数据分箱，还可以传入浮点列表指代相应的分位数分割点
s = df.Weight
pd.qcut(s, q=3).head()  

0    (33.999, 48.0]
1      (55.0, 89.0]
2      (55.0, 89.0]
3    (33.999, 48.0]
4      (55.0, 89.0]
Name: Weight, dtype: category
Categories (3, interval[float64]): [(33.999, 48.0] < (48.0, 55.0] < (55.0, 89.0]]

pd.qcut(s, q=[0,0.2,0.8,1]).head()

0      (44.0, 69.4]
1      (69.4, 89.0]
2      (69.4, 89.0]
3    (33.999, 44.0]
4      (69.4, 89.0]
Name: Weight, dtype: category
Categories (3, interval[float64]): [(33.999, 44.0] < (44.0, 69.4] < (69.4, 89.0]]

一般区间的构造

my_interval = pd.Interval(0,1,'right')

# in 判断元素是否属于区间
1 in my_interval  # True
0 in my_interval  # False

False

# overlaps 判断两个区间是否有交集
my_interval_2 = pd.Interval(0.5, 1.5, 'left')
my_interval_2.overlaps(my_interval)

True

# from_breaks类似cut/qcut
# from_breaks直接传入自定义的分割点
# cut/qcut通过计算得到的分割点
pd.IntervalIndex.from_breaks([1,3,6,10], closed='both')

IntervalIndex([[1, 3], [3, 6], [6, 10]],
              closed='both',
              dtype='interval[int64]')

# from_arrays分别传入左端点和右端点的列表
pd.IntervalIndex.from_arrays(left = [1,3,6,10], right = [5,4,9,11], closed = 'neither')

IntervalIndex([(1, 5), (3, 4), (6, 9), (10, 11)],
              closed='neither',
              dtype='interval[int64]')

# from_tuples传入的是起点和终点元组构成的列表
pd.IntervalIndex.from_tuples([(1,5),(3,4),(6,9),(10,11)],closed='neither')

IntervalIndex([(1, 5), (3, 4), (6, 9), (10, 11)],
              closed='neither',
              dtype='interval[int64]')

# 根据起点、终点、区间个数和区间长度构造相应区间
# 其中三个量确定的情况下，剩下一个量就确定了
pd.interval_range(start=1, end=5, periods=8)

IntervalIndex([(1.0, 1.5], (1.5, 2.0], (2.0, 2.5], (2.5, 3.0], (3.0, 3.5], (3.5, 4.0], (4.0, 4.5], (4.5, 5.0]],
              closed='right',
              dtype='interval[float64]')

pd.interval_range(end=5,periods=8,freq=0.5)

IntervalIndex([(1.0, 1.5], (1.5, 2.0], (2.0, 2.5], (2.5, 3.0], (3.0, 3.5], (3.5, 4.0], (4.0, 4.5], (4.5, 5.0]],
              closed='right',
              dtype='interval[float64]')

区间的属性与方法

# s-体重
id_interval = pd.IntervalIndex(pd.cut(s, 3))

# 选出前5个展示
id_demo = id_interval[:5]
id_demo

IntervalIndex([(33.945, 52.333], (52.333, 70.667], (70.667, 89.0], (33.945, 52.333], (70.667, 89.0]],
              closed='right',
              name='Weight',
              dtype='interval[float64]')

# 展示左端点
id_demo.left

Float64Index([33.945, 52.333, 70.667, 33.945, 70.667], dtype='float64')

# 展示右端点
id_demo.right

Float64Index([52.333, 70.667, 89.0, 52.333, 89.0], dtype='float64')

# 两端点均值
id_demo.mid

Float64Index([43.138999999999996, 61.5, 79.8335, 43.138999999999996, 79.8335], dtype='float64')

# 区间长度
id_demo.length

Float64Index([18.387999999999998, 18.334000000000003, 18.333,
              18.387999999999998, 18.333],
             dtype='float64')

# 判断每个区间是否包含某元素
id_demo.contains(4)

array([False, False, False, False, False])

id_demo.contains(34)

array([ True, False, False,  True, False])

id_demo.overlaps(pd.Interval(40,60))

array([ True,  True, False,  True, False])

练一练

Ex1：统计未出现的类别

Ex2：钻石数据集

df = pd.read_csv('data/diamonds.csv')
df.head()
caratcutclarityprice
00.23IdealSI2326
10.21PremiumSI1326
20.23GoodVS1327
30.29PremiumVS2334
40.31GoodSI2335
# 分别对 df.cut 在 object 类型和 category 类型下使用 nunique 函数，并比较它们的性能
# object类型
%timeit -n 30 df.cut.nunique()
# category类型
%timeit -n 30 df.cut.astype('category').nunique()

# 突然意识到这样写有问题，应先转化类型，再比较性能
object_demo = df.cut
category_demo = df.cut.astype('category')
%timeit -n 30 object_demo.nunique()
%timeit -n 30 category_demo.nunique()

3.17 ms ± 294 µs per loop (mean ± std. dev. of 7 runs, 30 loops each)
5.39 ms ± 610 µs per loop (mean ± std. dev. of 7 runs, 30 loops each)
3.82 ms ± 1.11 ms per loop (mean ± std. dev. of 7 runs, 30 loops each)
1.09 ms ± 157 µs per loop (mean ± std. dev. of 7 runs, 30 loops each)

# 钻石的切割质量可以分为五个等级，由次到好分别是 Fair, Good, Very Good, Premium, Ideal ，纯净度有八个等级，由次到好分别是 I1, SI2, SI1, VS2, VS1, VVS2, VVS1, IF ，请对切割质量按照 由好到次 的顺序排序，相同切割质量的钻石，按照纯净度进行 由次到好 的排序。
# 考察分类排序知识点
df.cut = df.cut.astype('category').cat.reorder_categories(['Fair', 'Good', 'Very Good', 'Premium', 'Ideal'], ordered=True)
df.clarity = df.clarity.astype('category').cat.reorder_categories(['I1', 'SI2', 'SI1', 'VS2', 'VS1', 'VVS2', 'VVS1', 'IF'],ordered=True)
res = df.sort_values(['cut','clarity'], ascending=[False, True])
res
caratcutclarityprice
3150.96IdealI12801
5350.96IdealI12826
5510.97IdealI12830
6531.01IdealI12844
7180.97IdealI12856
...............
412420.30FairIF1208
437780.37FairIF1440
474070.52FairIF1849
496830.52FairIF2144
501260.47FairIF2211

53940 rows × 4 columns

# 分别采用两种不同的方法，把 cut, clarity 这两列按照 由好到次 的顺序，映射到从0到n-1的整数，其中n表示类别的个数。
# 这道题没有写出来，忘记了cat.codes知识点

# df.cut.cat.categories[::-1]  # 全部倒序
# Index(['Ideal', 'Premium', 'Very Good', 'Good', 'Fair'], dtype='object')
df.cut = df.cut.cat.reorder_categories(df.cut.cat.categories[::-1])
df.clarity = df.clarity.cat.reorder_categories(df.clarity.cat.categories[::-1])

df.cut = df.cut.cat.codes # 方法一：利用cat.codes 每个类对应一个整数编号

# 使用replace映射
clarity_cat = df.clarity.cat.categories
df.clarity = df.clarity.replace(dict(zip(clarity_cat, np.arange(len(clarity_cat)))))
df.head(3)
caratcutclarityprice
00.2306326
10.2115326
20.2333327
# 对每克拉的价格按照分别按照分位数（q=[0.2, 0.4, 0.6, 0.8]）与[1000, 3500, 5500, 18000]割点进行分箱得到五个类别 Very Low, Low, Mid, High, Very High ，并把按这两种分箱方法得到的 category 序列依次添加到原表中
Pytorch图像分类实战笔记Task01-Task07|Datawhale组队学习
weixin_45480097的博客
01-17 1001
将数据集统一命名为数字-->获得文件名列表full_dataset-->打乱列表random_dataset-->set train_rate = 0.8,train_dataset = random_dataset[:int(full_dataset)*0.8],test_dataset =random_dataset[int(full_dataset)*0.8:] -->移动文件。文件：gif格式的、非三通道图片（三通道图可以是彩色图，可以是灰度模式的图像。第一步，导入所需要的库。
Datawhale 组队学习 图机器学习 Task03
m0_56111279的博客
02-18 286
Networkx
第四章. Pandas进阶—数据分组统计
weixin_45116749的博客
11-17 2047
第四章. Pandas进阶—数据分组统计
Pandas学习笔记（八）—— Pandas分类数据
qq_43300880的博客
05-29 873
Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。
【pandas教程】pandas特性——类别类型
檐前潜心学种瓜
04-30 624
介绍pandas类型系统，以及特殊类型categoricals
Pandas 根据category自定义排序
zhaoleiedu的博客
08-16 763
pandas 按照自定义顺序排序
Pandas 2 使用指南：分类数据 Categorical data
数智笔记
02-03 2049
与统计学中的分类变量相反，分类数据可能具有顺序（例如“强烈同意”与“同意”或“第一次观察”与“第二次观察”），但不能进行数值运算（加法、除法等）。中的个别值也会被重命名，但如果第一个位置在最后排序，重命名后的值仍将在最后排序。如果想要在一步中删除和添加新类别（这样有一些速度优势），或者只是将类别设置为预定义的范围，可以使用。排序将使用类别定义的顺序，而不是数据类型上存在的任何词法顺序。默认情况下，结果的类别将按照它们在数据中出现的顺序排序。这可能是您想要的，但如果您依赖于类别的确切编号，请注意。
DataWhale_Pandas Task Special：第一次综合练习
那一夜见红的博客
01-01 272
【任务一】企业收入的多样性 【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标： 其中 p(xi) 是企业该年某产业收入额占该年所有产业总收入的比重。在company.csv中存有需要计算的企业和年份，在company_data.csv中存有企业、各类收入额和收入年份的信息。现请利用后一张表中的数据，在前一张表中增加一列表示该公司该年份的收入熵指标 I 。 【数据下载】链接：https://pan.baidu.com/s/1leZZctxMUSW55kZY5WwgIw 48
Task06 - 场景案例显神通 - Datawhale 12月组队
lafeidog的博客
12-27 668
数据可视化的图表种类繁多，各式各样，因此我们需要掌握如何在特定场景下使用特定的图表。 数据可视化是为业务目的服务的，好的可视化图表可以起到清晰准确反映业务结果的目的，在选择使用何种图表时，通常我们需要首先考虑你想通过可视化阐述什么样的故事，受众是谁，以及打算如何分析结果。 关于如何利用数据创造出吸引人的、信息量大的、有说服力的故事，进而达到有效沟通的目的，可以进一步阅读这本书《用数据讲故事》 4学习。 本章将介绍不同场景适合的可视化图表类型，使用注意事项，以及如何用现成的绘图接口来呈现。 我们将常见的场景分
组队学习之Task1：数据加载及探索性数据分析
秃头菜鸟的博客
08-18 1031
第一章：数据载入及初步观察 1.1 载入数据 数据集下载 https://www.kaggle.com/c/titanic/overview 1.1.1 导入numpy和pandas import numpy as np import pandas as pd 1.1.2 载入数据 (1) 使用相对路径载入数据 Train_data=pd.read_csv('train.csv') Train_data.head(5) # 显然读入数据的前5行 （2使用绝对路径载入数据 Train_data=pd
高阶pandas : 分类数据
AI路漫漫
07-21 636
高阶pandas : 分类数据
图解Pandas中的数据分类
尤尔小屋
09-02 1438
公众号：尤而小屋作者：Peter编辑：Peter 大家好，我是Peter~ 本文中介绍的是Categorical类型，主要实现的数据分类问题，用于承载基于整数的类别展示或编码的数据，帮助使用者获得更好的性能和内存使用。 背景：统计重复值 在一个Series数据中经常会出现重复值，我们需要提取这些不同的值并且分别计算它们的频数： import numpy as np import pandas as pd data = pd.Series(["语文","数学","英语","数学","英语","地理".
Joyful-Pandas - pandas（2）
Jerry的博客
12-21 1248
请注意，对于 Series 的前两个元素（1 和 2），由于无法形成完整的三个元素窗口，所以在默认情况下，对这些位置的任何滚动计算都会返回 NaN（不是数字）。对于第一个和第二个窗口，没有足够的元素来形成完整的三个元素窗口，所以这些位置的结果可能是 NaN（取决于 apply 方法的具体实现）。函数是完全对称的，它们用于根据条件来替换数据，但替换的方向是相反的，同时，它们还可以用于在不指定替换值时将数据替换为缺失值。在传入条件的方向上是完全对称的，如果不指定替换值，默认会将满足条件的元素替换为缺失值。
python中category是什么类型_python – 如何知道由astype(‘category’)指定...
weixin_39685392的博客
12-10 830
我有以下数据框称为语言lang level0 english intermediate1 spanish intermediate2 spanish basic3 english basic4 english advanced5 spanis...
pandas学习笔记1—categories与set_categories
热门推荐
Lavi的专栏
10-09 1万+
使用pandas的类别相关的方法可以设置和改变数据的类别。import pandas as pd import numpy as npdf = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']}) #将raw_grade列转化为category类型 df["grade"] = df["raw_gr
Python酷库之旅-第三方库Pandas(086)
ygb_1024的博客
08-17 1169
第三方库Pandas(086)
真给力，字节跳动年度首发《音视频开发进阶指南》限时领取，理论与实战齐飞
m0_60721649的博客
05-02 227
音视频播放：音视频同步音视频解封和封装：生成一个MP4。
【第5章Pandas实战案例与解析 整理数据】5.288 深度解析Pandas：使用cat()以拼接字符串方式高效合并列
最新发布
03-02 789
在数据处理和分析中，经常需要将多列中的字符串进行拼接，生成新的列。Pandas库提供了多种方法来实现这一目标，其中cat()函数是一种非常灵活且高效的方法。本文将详细介绍如何使用cat()函数以拼接字符串的方式合并列，并通过多个示例展示具体的应用。cat()结合自定义函数处理复杂的拼接逻辑。# 定义一个自定义函数，处理复杂的拼接逻辑return f"# 定义一个自定义函数，处理复杂的拼接逻辑 def custom_cat(a , b , c) : return f" {a } - {b } - {
Python之深入了解Pandas 的 cat、dt 和 str 接口
m0_54447321的博客
11-05 1376
在数据分析中，处理的需求极为常见。Pandas 针对这三类数据专门设计了 .cat.dt.str三个接口，极大地提高了数据处理的效率与可读性。本文将详细介绍每个接口的用途、常用方法以及实例代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值