Pandas库实践1_预备知识准备

Python基础

列表推导式与条件赋值

创建列表

L = []
def my_func(x):
    return 2*x

for i in range(5):
    L.append(my_func(i))

print(L)  #[0, 2, 4, 6, 8]

利用列表推导式进行写法上的简化：[* for i in *]。其中，第一个*为映射函数，其输入为后面i指代的内容，第二个*表示迭代的对象。

L = [my_func(i) for i in range(5)]
print(L)  #[0, 2, 4, 6, 8]

列表表达式支持嵌套，第一个是第一层循环，第二个是第二层循环

L = [m+'_'+n for m in ['a','b'] for n in ['c','d']]
print(L)  #['a_c', 'a_d', 'b_c', 'b_d']

除了列表推导式，还可以用带有if选择的条件赋值，形式：value = a if condition else b

L = [i for i in range(8)]
print(L)   #[0, 1, 2, 3, 4, 5, 6, 7]
L = [i if i <= 5 else 5 for i in L]
print(L)   #[0, 1, 2, 3, 4, 5, 5, 5]

匿名函数和Map方法

有一些函数的定义具有清晰简单的映射关系，可以用匿名函数的方法简洁地表示：

my_func = lambda x:2*x
print(my_func(3))     #6

muti_para_func = lambda a,b:b+a
print(muti_para_func(2,4))   #6

但上面的用法其实违背了“匿名”的含义，事实上它往往在无需多处调用的场合进行使用，例如上面列表推导式中的例子，用户不关心函数的名字，只关心这种映射的关系

L = [(lambda x:2*x)(i) for i in range(5)]
print(L)    #[0, 2, 4, 6, 8]

对于这种列表推导式的匿名函数映射，Python中提供了map函数来完成，它返回的是一个map对象，需要通过list转为列表：

L = list(map(lambda x:2*x,range(5)))
print(L)    #[0, 2, 4, 6, 8]

对于多个输入值的函数映射，可以通过追加迭代对象实现：

L = list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))
print(L)    #['0_a', '1_b', '2_c', '3_d', '4_e']

zip对象与enumerate方法

zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象，它返回了一个zip对象，通过tuple, list可以得到相应的打包结果：

L1, L2, L3 = list('abc'), list('def'), list('hij')
L = list(zip(L1, L2, L3))
print(L)     #[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]

print(tuple(zip(L1,L2,L3)))    #(('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))

往往会在循环迭代的时候使用到zip函数：

L1, L2, L3 = list('abc'), list('def'), list('hij')
for i, j, k in zip(L1, L2, L3):
     print(i, j, k)

#a d h
#b e i
#c f j

enumerate是一种特殊的打包，它可以在迭代时绑定迭代元素的遍历序号：

L = list('abcd')
for index, value in enumerate(L):
     print(index, value)
     
#0 a
#1 b
#2 c
#3 d

用zip对象也能够简单地实现这个功能：

for index, value in zip(range(len(L)), L):
     print(index, value)

当需要对两个列表建立字典映射时，可以利用zip对象：

L1, L2 = list('abc'), list('def')
print(dict(zip(L1, L2)))     #{'a': 'd', 'b': 'e', 'c': 'f'}

既然有了压缩函数，那么Python也提供了*操作符和zip联合使用来进行解压操作：

L1, L2, L3 = list('abc'), list('def'), list('hij')
zipped = list(zip(L1,L2,L3))
print(zipped)    #[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]

print(list(zip(*zipped)))   #[('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]

Numpy基础

np数组的构造

最一般的方法是通过array来构造：

import numpy as np
np.array([1,2,3])

特殊数组的生成方式：
等差序列

np.linspace(1,5,11) # 起始、终止（包含）、样本个数
#[1.  1.4 1.8 2.2 2.6 3.  3.4 3.8 4.2 4.6 5. ]

np.arange(1,5,2) # 起始、终止（不包含）、步长
#[1 3]

特殊矩阵

np.zeros((2,3)) # 传入元组表示各维度大小

np.eye(3) # 3*3的单位矩阵

np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵

np.full((2,3), 10) # 元组传入大小，10表示填充数值

np.full((2,3), [1,2,3]) # 每行填入相同的列表

随机矩阵np.random
最常用的随机生成函数为rand, randn, randint, choice，它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样：

np.random.rand(3) # 生成服从0-1均匀分布的三个随机数

np.random.rand(3, 3) # 注意这里传入的不是元组，每个维度大小分开输入

对于服从区间a到b上的均匀分布可以如下生成：

a, b = 5, 15
(b - a) * np.random.rand(3) + a

一般的，可以选择已有的库函数：

np.random.uniform(5, 15, 3)   #均匀分布的随机数

#正态分布
np.random.randn(3)
np.random.randn(2, 2)
#对于服从方差为σ2均值为μ的一元正态分布可以如下生成
sigma, mu = 2.5, 3
mu + np.random.randn(3) * sigma
#选择从已有函数生成
np.random.normal(3, 2.5, 3)

randint可以指定生成随机整数的最小值最大值（不包含）和维度大小：

low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
np.random.randint(low, high, size)

choice可以从给定的列表中，以一定概率和方式抽取结果，当不指定概率时为均匀采样，默认抽取方式为有放回抽样：

my_list = ['a', 'b', 'c', 'd']
np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])

np.random.choice(my_list, (3,3))

当返回的元素个数与原列表相同时，不放回抽样等价于使用permutation函数，即打散原列表：

np.random.permutation(my_list)

随机种子，它能够固定随机数的输出结果：

np.random.seed(0)
np.random.rand()

np数组的变形和合并

转置：T

np.zeros((2,3))
np.zeros((2,3)).T

#[[0. 0. 0.]
# [0. 0. 0.]]
#[[0. 0.]
# [0. 0.]
# [0. 0.]]

合并操作：r_，c_
对于二维数组而言，r_和c_分别表示上下合并和左右合并：

np.r_[np.zeros((2,3)),np.zeros((2,3))]
#[[0. 0. 0.]
# [0. 0. 0.]
# [0. 0. 0.]
# [0. 0. 0.]]
np.c_[np.zeros((2,3)),np.zeros((2,3))]
#[[0. 0. 0. 0. 0. 0.]
# [0. 0. 0. 0. 0. 0.]]

一维数组和二维数组进行合并时，应当把其视作列向量，在长度匹配的情况下只能够使用左右合并的c_操作

维度变换：reshape
reshape能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式，分别为C模式和F模式，分别以逐行和逐列的顺序进行填充读取。

target = np.arange(8).reshape(2,4)
target.reshape((4,2), order='C') # 按照行读取和填充
target.reshape((4,2), order='F') # 按照列读取和填充

特别地，由于被调用数组的大小是确定的，reshape允许有一个维度存在空缺，此时只需填充-1即可

target.reshape(-1)

np数组的切片和索引

数组的切片模式支持使用slice类型的start:end:step切片，还可以直接传入列表指定某个维度的索引进行切片：

target = np.arange(9).reshape(3,3)
target[:-1, [0,2]]

此外，还可以利用np.ix_在对应的维度上使用布尔索引，但此时不能使用slice切片：

target[np.ix_([True, False, True], [True, False, True])]
#[[0, 2],
# [6, 8]]

当数组维度为1维时，可以直接进行布尔索引，而无需np.ix_：

new = target.reshape(-1)
new[new%2==0]

常见函数

where是一种条件函数，可以指定满足条件与不满足条件位置对应的填充值：

a = np.array([-1,1,-1,0])
np.where(a>0, a, 5) # 对应位置为True时填充a对应元素，否则填充5

nonzero, argmax, argmin
这三个函数返回的都是索引，nonzero返回非零数的索引，argmax, argmin分别返回最大和最小数的索引：

a = np.array([-2,-5,0,1,3,-1])
np.nonzero(a)
a.argmax()
a.argmin()

any, all
any指当序列至少 存在一个 True或非零元素时返回True，否则返回False
all指当序列元素 全为 True或非零元素时返回True，否则返回False

a = np.array([0,1])
a.any()   #True
a.all()   #False

cumprod, cumsum, diff
cumprod, cumsum分别表示累乘和累加函数，返回同长度的数组，diff表示和前一个元素做差，由于第一个元素为缺失值，因此在默认参数情况下，返回长度是原数组减1

a = np.array([1,2,3])
a.cumprod()
a.cumsum()
np.diff(a)

统计函数
常用的统计函数包括max, min, mean, median, std, var, sum, quantile，其中分位数计算是全局方法，因此不能通过array.quantile的方法调用：

target = np.arange(5)
target.max()  #4
np.quantile(target, 0.5) # 0.5分位数  2.0

但是对于含有缺失值的数组，它们返回的结果也是缺失值，如果需要略过缺失值，必须使用nan*类型的函数，上述的几个统计函数都有对应的nan*函数。

对于协方差和相关系数分别可以利用cov, corrcoef如下计算：

target1 = np.array([1,3,5,9])
target2 = np.array([1,5,3,-9])
np.cov(target1, target2)

#[[ 11.66666667, -16.66666667],
# [-16.66666667,  38.66666667]]

np.corrcoef(target1, target2)
#[[ 1.        , -0.78470603],
# [-0.78470603,  1.        ]]

需要说明二维Numpy数组中统计函数的axis参数，它能够进行某一个维度下的统计特征计算，当axis=0时结果为列的统计指标，当axis=1时结果为行的统计指标。

广播机制

广播机制用于处理两个不同维度数组之间的操作
当一个标量和数组进行运算时，标量会自动把大小扩充为数组大小，之后进行逐元素操作：

res = 3 * np.ones((2,2)) + 1

#[[4., 4.],
# [4., 4.]]

当两个数组维度完全一致时，使用对应元素的操作，否则会报错，除非其中的某个数组的维度是m×1或者1×n，那么会扩充其具有1的维度为另一个数组对应维度的大小。例如，1×2数组和3×2数组做逐元素运算时会把第一个数组扩充为3×2，扩充时的对应数值进行赋值。但是，需要注意的是，如果第一个数组的维度是1×3，那么由于在第二维上的大小不匹配且不为1，此时报错。

当一维数组Ak与二维数组Bm,n操作时，等价于把一维数组视作A1,k的二维数组，使用的广播法则与【b】中一致，当k!=n且k,n都不是1时报错。