[pandas][基础]索引

loc,iloc,[]切割

• loc 方法中都是闭合区间，即包含左右端点
• loc中能传入的只有布尔列表和索引子集构成的列表
• iloc方法切片右端点不包含
• iloc中接收的参数只能为整数或整数列表，不能使用布尔索引
• [] 左开右闭
• pd[]
  • 是绝对位置的整数切片，与元素无关，这里容易混淆
  • 使用lambda函数时 此时使用的不是绝对位置切片，而是元素切片，非常易错
• DataFrame的[]操作
  • 常用于列选择或布尔选择，尽量避免行的选择

布尔索引

• 布尔符号：’&’,’|’,’~’：分别代表和and，或or，取反not
• loc和[]中相应位置都能使用布尔列表选择：

快速标量索引

• 当只需要取一个元素时，at和iat方法能够提供更快的实现：
  df.at[1101,'School']
df.loc[1101,'School']
df.iat[0,0]
df.iloc[0,0]

区间索引

• 利用interval_range方法
  pd.interval_range(start=0,end=5)
• 利用cut将数值列转为区间为元素的分类变量，例如统计数学成绩的区间情况
  math_interval = pd.cut(df['Math'],bins=[0,40,60,80,100])
• 区间索引的选取
  df_i = df.join(math_interval,rsuffix='_interval')[['Math','Math_interval']]\ .reset_index().set_index('Math_interval')

多级索引

设置多级索引

• MultiIndex.from_tuples
• MultiIndex.from_product
• set_index([‘Class’,‘Address’])

多层索引切片

• 一般切片
  #df_using_mul.loc['C_2','street_5'] #当索引不排序时，单个索引会报出性能警告 #df_using_mul.index.is_lexsorted() #该函数检查是否排序 df_using_mul.sort_index().loc['C_2','street_5'] #df_using_mul.sort_index().index.is_lexsorted()
  • 非元组也是合法的，表示选中该层所有元素
• 由元组构成列表
  表示选出某几个元素，精确到最内层索引
  df_using_mul.sort_index().loc[[('C_2','street_7'),('C_3','street_2')]]
• 由列表构成元组
  交叉，第一个列表表示外层索引，第二个表示内层
  df_using_mul.sort_index().loc[(['C_2','C_3'],['street_4','street_7']),:]
• 多层索引中的slice对象

索引层的交换

• swaplevel方法（两层交换）
• reorder_levels方法（多层交换）

索引设定

• index_col参数
  index_col是read_csv中的一个参数，而不是某一个方法
  pd.read_csv('data/table.csv',index_col=['Address','School'])

• reindex和reindex_like

  • reindex是指重新索引，它的重要特性在于索引对齐，很多时候用于重新排序
  • 缺失值的填充方法：fill_value和method（bfill/ffill/nearest），其中method参数必须索引单调

• reindex_like的作用为生成一个横纵索引完全与参数列表一致的DataFrame，数据使用被调用的表

• set_index和reset_index

  • 利用append参数可以将当前索引维持不变
    df.set_index('Class',append=True)

• reset_index方法，它的主要功能是将索引重置

  • 默认状态直接恢复到自然数索引
  • 用level参数指定哪一层被reset，用col_level参数指定set到哪一层

• rename_axis和rename

• rename_axis是针对多级索引的方法，作用是修改某一层的索引名，而不是索引标签

• rename方法用于修改列或者行索引标签，而不是索引名

常用索引型函数

• where函数
  对条件为False的单元进行填充
  df.where(df['Gender']=='M').dropna()
  通过这种方法筛选结果和[]操作符的结果完全一致
  df.where(df['Gender']=='M',np.random.rand(df.shape[0],df.shape[1]))可以填充
• mask函数
  mask函数与where功能上相反，其余完全一致，即对条件为True的单元进行填充
• query函数
  df.query('(Address in ["street_6","street_7"])&(Weight>(70+10))&(ID in [1303,2304,2402])')

重复元素处理

• duplicated方法
  该方法返回了是否重复的布尔列表
  可选参数keep默认为first，即首次出现设为不重复，若为last，则最后一次设为不重复，若为False，则所有重复项为False
• drop_duplicates方法
  可选参数keep默认为first，即首次出现设为不重复，若为last，则最后一次设为不重复，若为False，则所有重复项为False
• df.drop_duplicates([‘School’,‘Class’])
  在传入多列时等价于将多列共同视作一个多级索引，比较重复项

抽样函数

sample函数

• n为样本量
  df.sample(n=5)
• frac为抽样比
  df.sample(frac=0.05)
• replace为是否放回
• axis为抽样维度，默认为0，即抽行
• weights为样本权重，自动归一化
  df.sample(n=3,weights=np.random.rand(df.shape[0])).head()