Datawhale Pandas Task01 预备知识

一、Python基础

1. 列表推导式与条件赋值

在生成一个数字序列的时候，在 Python 中可以如下写出：

L = []
def my_func(x):
    return 2*x

for i in range(5):
    L.append(my_func(i))
L

[0, 2, 4, 6, 8]

事实上可以利用列表推导式进行写法上的简化： [* for i in *] 。其中，第一个 * 为映射函数，其输入为后面 i 指代的内容，第二个 * 表示迭代的对象。

[my_func(i) for i in range(5)]

列表表达式还支持多层嵌套，如下面的例子中第一个 for 为外层循环，第二个为内层循环：

 [m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]
 ['a_c', 'a_d', 'b_c', 'b_d']

除了列表推导式，另一个实用的语法糖是带有 if 选择的条件赋值，其形式为 value = a if condition else b ：

value = 'cat' if 2>1 else 'dog'
value

'cat'

下面举一个例子，截断列表中超过5的元素，即超过5的用5代替，小于5的保留原来的值：

L = [1, 2, 3, 4, 5, 6, 7]

[i if i <= 5 else 5 for i in L]
[1, 2, 3, 4, 5, 5, 5]

[1, 2, 3, 4, 5, 5, 5]

2. 匿名函数与map方法

有一些函数的定义具有清晰简单的映射关系，例如上面的 my_func 函数，这时候可以用匿名函数（lambda表达式）的方法简洁地表示：

my_func = lambda x: 2*x
my_func(3)

6

multi_para_func = lambda a, b: a + b
multi_para_func(1, 2)

3

但上面的用法其实违背了“匿名”的含义，事实上它往往在无需多处调用的场合进行使用，例如上面列表推导式中的例子，用户不关心函数的名字，只关心这种映射的关系：

[(lambda x: 2*x)(i) for i in range(5)]

注意这里(lambda x: 2*x)是定义函数(i)为函数的输入，区别：

[lambda x: 2*x for x in range(3)]

返回的是lambda对象的遍历

[<function __main__.<listcomp>.<lambda>(x)>,
 <function __main__.<listcomp>.<lambda>(x)>,
 <function __main__.<listcomp>.<lambda>(x)>]

Map函数

map() 会根据提供的函数对指定序列做映射：map(function, iterable, …)

• function – 函数
• iterable – 一个或多个序列

python3中map函数会返回迭代器，需要用list()方法转变成列表

list(map(lambda x: 2*x, range(5)))

[0, 2, 4, 6, 8]

对于多个输入值的函数映射，可以通过追加迭代对象实现：

list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))

[‘0_a’, ‘1_b’, ‘2_c’, ‘3_d’, ‘4_e’]

注意这里如果用：

[(lambda x,y: str(x)+"_"+y)(x,y) for x in range(5) for y in list("abcde")]

会遍历所有的x和y的组合

3. zip对象与enumerate方法

zip()函数分别从各个参数中依次各取出一个元素组成元组，再将依次组成的元组组合成一个新的迭代器。
当各参数的行数或列数不同时，取两者结构中最小的行数和列数，依照最小的行数和列数将对应位置的元素进行组合。

zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象，它返回了一个 zip 对象，通过 tuple, list 可以得到相应的打包结果：

L1, L2, L3 = list('abc'), list('def'), list('hij')
list(zip(L1, L2, L3))

 [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]

往往会在循环迭代的时候使用到 zip 函数：

for i, j, k in zip(L1, L2, L3):
    print(i,j,k)

a d h
b e i
c f j

enumerate 是一种特殊的打包，它可以在迭代时绑定迭代元素的遍历序号：

L = list('abcd')

for index, value in enumerate(L):
    print(index, value)

0 a
1 b
2 c
3 d

用 zip 对象也能够简单地实现这个功能：

for index, value in zip(range(len(L)), L):
    print(index, value)

当需要对两个列表建立字典映射时，可以利用 zip 对象：

dict(zip(L1, L2))

{'a': 'd', 'b': 'e', 'c': 'f'}

既然有了压缩函数，那么 Python 也提供了 * 操作符和 zip 联合使用来进行解压操作：

zipped = list(zip(L1, L2, L3))

list(zip(*zipped)) # 三个元组分别对应原来的列表

[('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]

二、Numpy基础

1. np数组的构造

最一般的方法是通过 array 来构造：

import numpy as np
np.array([1,2,3])

array([1, 2, 3])

下面讨论一些特殊数组的生成方式：

【a】等差序列： np.linspace, np.arange

np.linspace(1,5,11) # 起始、终止（包含）、样本个数
array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])

 np.arange(1,5,2) # 起始、终止（不包含）、步长
 array([1, 3])

【b】特殊矩阵： zeros, eye, full

np.zeros((2,3)) # 传入元组表示各维度大小
array([[0., 0., 0.],
       [0., 0., 0.]])

np.eye(3) # 3*3的单位矩阵
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])

np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
array([[0., 1., 0.],
       [0., 0., 1.],
       [0., 0., 0.]])

np.full((2,3), 10) # 元组传入大小，10表示填充数值
array([[10, 10, 10],
       [10, 10, 10]])

np.full((2,3), [1,2,3]) # 通过传入列表填充每列的值
array([[1, 2, 3],
       [1, 2, 3]])

【c】随机矩阵： np.random

最常用的随机生成函数为 rand, randn, randint, choice ，它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样：

np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
array([0.33475955, 0.95078732, 0.05285509])

np.random.rand(3, 3) # 注意这里传入的不是元组，每个维度大小分开输入
array([[0.84388882, 0.69131589, 0.67542507],
       [0.20343413, 0.66242815, 0.57234628],
       [0.92551487, 0.052208  , 0.66066924]])

对于服从区间 a 到 b 上的均匀分布可以如下生成：

a, b = 5, 15
a +(b-a)*np.random.rand(3) 
array([14.78755599,  8.64449016,  5.35194838])

randn 生成了 N(0,I) 的标准正态分布：

np.random.randn(3)
array([-0.58791376, -1.43131028, -1.36937869])

np.random.randn(2,2)
array([[-0.16462184, -0.09302481],
       [-1.20971044, -2.06612733]])

对于服从方差为 σ2 均值为 μ 的一元正态分布可以如下生成：

sigma, mu = 2.5, 3
mu + np.random.randn(3)*sigma
array([ 1.60811334,  1.43860748, -0.5965322 ])

randint 可以指定生成随机整数的最小值最大值（不包含）和维度大小：

low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
np.random.randint(low, high, size)
array([[10,  6],
       [ 6, 11]])

choice 可以从给定的列表中，以一定概率和方式抽取结果，当不指定概率时为均匀采样，默认抽取方式为有放回抽样：

my_list = ['a', 'b', 'c', 'd']
np.random.choice(my_list, 2, replace=False, p=[0.1,0.7,0.1,0.1])
array(['b', 'c'], dtype='<U1')

np.random.choice(my_list, (3,3))
array([['b', 'd', 'c'],
       ['b', 'a', 'a'],
       ['d', 'a', 'c']], dtype='<U1')

np.random.choice的参数：需要抽取的列表，维度，是否放回，各元素的概率分布

当返回的元素个数与原列表相同时，等价于使用 permutation 函数，即打散原列表：

np.random.permutation(my_list)
array(['d', 'c', 'b', 'a'], dtype='<U1')

最后，需要提到的是随机种子，它能够固定随机数的输出结果：

np.random.seed(0)
np.random.rand()
0.5488135039273248

np.random.seed(0)
np.random.rand()
0.5488135039273248

随机种子的参数表示随机数的编号，相同编号会生成固定的随机数。

2. np数组的变形与合并

【a】转置： T

np.zeros((2,3)).T
array([[0., 0.],
       [0., 0.],
       [0., 0.]])

【b】合并操作： r_, c_
对于二维数组而言， r_[ ] 和 c_[ ]分别表示上下合并和左右合并：

np.r_[np.zeros((2,3)), np.zeros((2,3))]
array([[0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.]])

np.c_[np.ones((3,2)), np.ones((3,2))]
array([[1., 1., 1., 1.],
       [1., 1., 1., 1.],
       [1., 1., 1., 1.]])

一维数组和二维数组进行合并时，应当把其视作列向量，在长度匹配的情况下只能够使用左右合并的 c_ 操作：

np.c_[np.array([1,2,3]), np.ones((3,2))]
array([[1., 1., 1.],
       [2., 1., 1.],
       [3., 1., 1.]])

一维数组的合并：

np.r_[np.array([1,2,3]), np.zeros(3)]
array([1., 2., 3., 0., 0., 0.])

np.c_[np.array([1,2,3]), np.zeros(3)]
array([[1., 0.],
       [2., 0.],
       [3., 0.]])

【c】维度变换： reshape

reshape 能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式，分别为 C 模式和 F 模式，分别以逐行和逐列的顺序进行填充读取。

target = np.arange(8).reshape(2,4)
target
array([[0, 1, 2, 3],
       [4, 5, 6, 7]])

target.reshape((4,2), order='C') # 按照行读取和填充(默认)
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])

target.reshape((4,2), order='F') # 按照列读取和填充
array([[0, 2],
       [4, 6],
       [1, 3],
       [5, 7]])

特别地，由于被调用数组的大小是确定的， reshape 允许有一个维度存在空缺，此时只需填充-1即可：

target.reshape((4,-1))
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])

下面将 n*1 大小的数组转为1维数组的操作是经常使用的：(一维同转置.T，二维就是按行捋平）

target = np.ones((3,1))
target
array([[1.],
       [1.],
       [1.]])

target.reshape(-1)
array([1., 1., 1.])

3. np数组的切片与索引

数组的切片模式支持使用 slice 类型的 start🔚step 切片，还可以直接传入列表指定某个维度的索引进行切片：

target = np.arange(9).reshape(3,3)
target
array([[0, 1, 2],
       [3, 4, 5],
       [6, 7, 8]])

target[:-1, [0,2]]
array([[0, 2],
       [3, 5]])

此外，还可以利用 np.ix_ 在对应的维度上使用布尔索引，但此时不能使用 slice 切片：

target[np.ix_([True, False, True], [True, False, True])]
array([[0, 2],
       [6, 8]])

target[np.ix_([1,2], [True, False, True])]
array([[3, 5],
       [6, 8]])

当数组维度为1维时，可以直接进行布尔索引，而无需 np.ix_ ：

new = target.reshape(-1)
new[new%2==0]
array([0, 2, 4, 6, 8])

4. 常用函数

为了简单起见，这里假设下述函数输入的数组都是一维的。

【a】 where

where 是一种条件函数，可以指定满足条件与不满足条件位置对应的填充值：

a = np.array([-1,1,-1,0])
np.where(a>0, a, 5)

array([5, 1, 5, 5])

【b】 nonzero, argmax, argmin

这三个函数返回的都是索引， nonzero 返回非零数的索引， argmax, argmin 分别返回最大和最小数的索引：

a = np.array([-2,-5,0,1,3,-1])

np.nonzero(a)
(array([0, 1, 3, 4, 5], dtype=int64),)

a.argmax()
4
a.argmin()
1

【c】 any, all

any 指当序列至少 存在一个 True 或非零元素时返回 True ，否则返回 False

all 指当序列元素 全为 True 或非零元素时返回 True ，否则返回 False

a = np.array([0,1])

a.any()
True
a.all()
False

【d】 cumprod, cumsum, diff

cumprod, cumsum 分别表示累乘和累加函数，返回同长度的数组， diff 表示和前一个元素做差，由于第一个元素为缺失值，因此在默认参数情况下，返回长度是原数组减1

a = np.array([1,2,3])

a.cumprod()
array([1, 2, 6], dtype=int32)

a.cumsum()
array([1, 3, 6], dtype=int32)

np.diff(a)
array([1, 1])

【e】 统计函数

常用的统计函数包括 max, min, mean, median, std, var, sum, quantile ，其中分位数计算是全局方法，因此不能通过 array.quantile 的方法调用：

target = np.arange(5)
target
array([0, 1, 2, 3, 4])

target.max()
4

np.quantile(target, 0.2)
0.8

但是对于含有缺失值的数组，它们返回的结果也是缺失值，如果需要略过缺失值，必须使用 nan* 类型的函数，上述的几个统计函数都有对应的 nan* 函数。

target = np.array([1, 2, np.nan])
target
array([ 1.,  2., nan])

target.max()
nan
np.nanmax(target)
2.0

对于协方差和相关系数分别可以利用 cov, corrcoef 如下计算：

target1 = np.array([1,3,5,9])
target2 = np.array([1,5,3,-9])

np.cov(target1,target2)
array([[ 11.66666667, -16.66666667],
       [-16.66666667,  38.66666667]])
       
np.corrcoef(target1, target2)
array([[ 1.        , -0.78470603],
       [-0.78470603,  1.        ]])

最后，需要说明二维 Numpy 数组中统计函数的 axis 参数，它能够进行某一个维度下的统计特征计算，当 axis=0 时结果为列的统计指标，当 axis=1 时结果为行的统计指标：

target = np.arange(1,10).reshape(3,-1)
target
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

target.sum(axis=0)
array([12, 15, 18])

target.sum(axis=1)
array([ 6, 15, 24])

5. 广播机制

广播机制用于处理两个不同维度数组之间的操作，这里只讨论不超过两维的数组广播机制。

【a】标量和数组的操作

当一个标量和数组进行运算时，标量会自动把大小扩充为数组大小，之后进行逐元素操作：

res = 3 * np.ones((2,2)) + 1
res
array([[4., 4.],
       [4., 4.]])
       
res = 1 / res
res
array([[0.25, 0.25],
       [0.25, 0.25]])

【b】二维数组之间的操作

当两个数组维度完全一致时，使用对应元素的操作，否则会报错，除非其中的某个数组的维度是 m×1 或者 1×n ，那么会扩充其具有 1 的维度为另一个数组对应维度的大小。例如， 1×2 数组和 3×2 数组做逐元素运算时会把第一个数组扩充为 3×2 ，扩充时的对应数值进行赋值。但是，需要注意的是，如果第一个数组的维度是 1×3 ，那么由于在第二维上的大小不匹配且不为 1 ，此时报错。

res = np.ones((3,2))
res
array([[1., 1.],
       [1., 1.],
       [1., 1.]])

res * np.array([[2,3],]) # 扩充第一维度为3
array([[2., 3.],
       [2., 3.],
       [2., 3.]])
       
res * np.array([[2],[3],[4]]) # 扩充第二维度为2
array([[2., 2.],
       [3., 3.],
       [4., 4.]])

res * np.array([[2]]) # 等价于两次扩充，同乘以标量
array([[2., 2.],
       [2., 2.],
       [2., 2.]])

【c】一维数组与二维数组的操作

当一维数组 Ak 与二维数组 Bm,n 操作时，等价于把一维数组视作 A1,k 的二维数组，使用的广播法则与【b】中一致，当 k!=n 且 k,n 都不是 1 时报错。

np.ones(3) + np.ones((2,3))
array([[2., 2., 2.],
       [2., 2., 2.]])

np.ones(3) + np.ones((2,1)) #第一个一维数组纵向广播成2x3，第二个一维列数组横向广播称2x3
array([[2., 2., 2.],
       [2., 2., 2.]])

np.ones(1) + np.ones((2,3))
array([[2., 2., 2.],
       [2., 2., 2.]])

6. 向量与矩阵的计算

【a】向量内积： dot

a = np.array([1,2,3])
b = np.array([1,3,5])

a.dot(b)  # 1x1+2x3+3x5
22

【b】向量范数和矩阵范数： np.linalg.norm

x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False)
在矩阵范数的计算中，最重要的是 ord 参数，可选值如下：

None, fro和2都是2阶范数，都是每个元素平方和再开方；
np.inf和np.-inf是每一行绝对加和后的最大值/最小值。一维数组是列向量。

martix_target =  np.arange(4).reshape(-1,2)
martix_target
array([[0, 1],
       [2, 3]])

np.linalg.norm(martix_target, "fro")
3.7416573867739413

【c】矩阵乘法： @

跟a.dot(b)相同

a = np.arange(4).reshape(-1,2)
b = np.arange(-4,0).reshape(-1,2)

a@b
array([[ -2,  -1],
       [-14,  -9]])

三、练习

Ex1：利用列表推导式写矩阵乘法

一般的矩阵乘法根据公式，可以由三重循环写出：

M1 = np.random.rand(2,3)
M2 = np.random.rand(3,4)

res = np.empty((M1.shape[0],M2.shape[1]))

for i in range(M1.shape[0]):
    for j in range(M2.shape[1]):
        item = 0
        for k in range(M1.shape[1]):
            item += M1[i][k] * M2[k][j]
            res[i][j] = item 
            
((M1@M2 - res) < 1e-15).all() # 排除数值误差
True

请将其改写为列表推导式的形式。

res =[[sum([M1[i][k]*M2[k][j] for k in range(M1.shape[1])]) for j in range(M2.shape[1])] for i in range(M1.shape[0])]

[[1.0040603449484347,
  1.0426144812359226,
  1.28582960313628,
  1.0330557899177788],
 [0.7575406940771159,
  0.7840043035526547,
  1.1246280557191526,
  0.7218113265193561]]

Ex2：更新矩阵

A = np.arange((1,10)).reshape(3,3)
B = A * np.sum(1/A, axis=1).reshape(-1,1)

array([[1.83333333, 3.66666667, 5.5       ],
       [2.46666667, 3.08333333, 3.7       ],
       [2.65277778, 3.03174603, 3.41071429]])

Ex3：卡方统计量

np.random.seed(0)
A = np.random.randint(10,20,(8,5))
A

array([[15, 10, 13, 13, 17],
       [19, 13, 15, 12, 14],
       [17, 16, 18, 18, 11],
       [16, 17, 17, 18, 11],
       [15, 19, 18, 19, 14],
       [13, 10, 13, 15, 10],
       [12, 13, 18, 11, 13],
       [13, 13, 17, 10, 11]])

B = A.sum(0) * A.sum(1).reshape(-1,1) / A.sum()
B

array([[14.14211438, 13.08145581, 15.20277296, 13.67071057, 11.90294627],
       [15.18197574, 14.04332756, 16.32062392, 14.67590988, 12.77816291],
       [16.63778163, 15.38994801, 17.88561525, 16.08318891, 14.0034662 ],
       [16.42980936, 15.19757366, 17.66204506, 15.88214905, 13.82842288],
       [17.67764298, 16.35181976, 19.0034662 , 17.08838821, 14.87868284],
       [12.68630849, 11.73483536, 13.63778163, 12.26343154, 10.67764298],
       [13.93414211, 12.88908146, 14.97920277, 13.46967071, 11.72790295],
       [13.3102253 , 12.31195841, 14.3084922 , 12.86655113, 11.20277296]])

chi2 = ((A-B)**2 / B).sum()
chi2

11.842696601945802

Ex4：改进矩阵计算的性能

Y = (B**2).sum(1).reshape(-1,1) + (U**2).sum(0) - 2*B@U
(Y*Z).sum()

Ex5：连续整数的最大长度

输入一个整数的 Numpy 数组，返回其中递增连续整数子数组的最大长度。例如，输入 [1,2,5,6,7]，[5,6,7]为具有最大长度的递增连续整数子数组，因此输出3；输入[3,2,1,2,3,4,6]，[1,2,3,4]为具有最大长度的递增连续整数子数组，因此输出4。请充分利用 Numpy 的内置函数完成。（提示：考虑使用 nonzero, diff 函数）

def continuouslist(alist):
    return np.diff(np.nonzero(np.r_[1,np.diff(alist)!=1, 1])).max()