数据分析（1）：Numpy库与应用

Unit1、Numpy库入门

一、数据的维度

描述一组数据的方式

1、 一维数据：由对等关系的有序或无序数据构成，采用线性方式组织。

          采用列表、数组、集合等描述     Python表示： 列表和 集合类型

               列表：数据类型可以不同

               数组：数据类型相同

2、二维数据：由多个一维数据构成，一维数据的组合形式。（表格）     Python表示： 列表类型

3、多维数据：由一维或二维数据在新维度上扩展形成。     Python表示： 列表类型

4、高维数据：仅利用最基本的二元关系展示数据间的复杂结构。（由键值对将数据组合起来）     Python表示： 字典类型或 数据表示格式（JSON,XML,YAML）

二、Numpy库 

一个开源的Python科学计算库，（底层运算为C），功能：

• 一个强大的N维数组对象 ndarray
• 广播功能函数
• 整合C/C++/Fortron代码的工具
• 线性代数、傅里叶变换、随机数生成等功能

     Numpy是Scipy、Pandas等数据处理或科学计算库的基础

引用：

import numpy as np

ndarray：可设置专门的数组对象，经过优化，可以提升这类应用的运算速度

import numpy as np

def npSun():

     a = np.array([0, 1, 2, 3, 4])

     a = np.array([9, 8, 7, 6, 5])

     c = a**2 + b**3     # 数组对象可以去掉元素运算所需的循环，使一维向量更像单个数据。

     return c

print(npSum())

ndarray（别名： array）:     实际数据 （类型相同）+ (描述用) 元数据(维度、类型……)

                    轴（axis）：保存维度     秩（rank）：轴的数量

          属性：.ndim     秩，维度的数量；     .shape     ndarray的尺度，m*n；     .size     元素个数；

                    .dtype     元素类型；              .itemsize     元素大小，字节为单位。

          元素类型：bool, intc, intp, int8, int16, int32, int64, uint8(无符号整数[0,255]), uint16, uint32, uint64, float16, float32, float64, complex64(实部.real + 虚部.imag), complex128.

               *****也有非同质ndarray元素情况，避免使用。

          创建：1、从列表、元组： x = np.array(list/tuple, dtype=np.float32)

2、使用函数： np.arange(n);    np.one(shape);    np.zeros(shape);    np.full(shape, val);    np.eye(n)...**shap为一个元组**...根据形状： np.ones_like(a);    np.zeros_like(a);     np.full_like(a,val);...***...np.llinspace():根据起止数据等间距填充(np.linspace(1,10,4,endpoint=False);    np.concatenate()数组合并;

                    3、字节流（raw bytes）:

                    4、文件读取：

         

           变换（维度、元素类型）1、维度：.reshape(shape)原数组不变;    .resize(shape)修改原数组;      .swapaxes(ax1,ax2)调换维度，原数组不变 ；    .flatten()降维(平化)，返回一维数组，原数组不变；

                    2、元素类型：new_a = a.astype(new_tupe)

          转为数组：.tolist();

ndarray操作：

          索引：np.array()[n];                              np.array()[i, j, k, ...]

          切片：np.array()[start : end : steps];      np.array()[start : end : steps , start : end : steps , ...]

ndarray运算：

          数组与标量：按每一个元素运算，np.abs(x) np.fabs(x)     求绝对值;     np.sqrt(x)     平方根;     np.squre(x)     平方;     np.log(x) np.log(10) np.log2(x)     计算自然对数、10/2底对数;np.ceil(x) np.floor(x)     ceiling(不超过元素的整数值)和floor(小于元素的最大整数值);     np.rint(x)     四舍五入值;     np.modf(x)     整数+小数部分;np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x);     np.exp(x)     e的指数值;     np.sign(x)     符号值 ……

          二元函数：+ - * / **;     np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()     对应位置元素级最值;     np.mod(x,y)     元素级模运算;     np.copysign(x,y)     Y的符号复制给X;     > < >= <= == !=;  

---

Unit2、Numpy数据存取与函数

一、CSV文件的存取

     CSV(Comma-Separated Value,逗号分隔值) 

• np.savetxt(frame, array, fmt='%.18e', delimiter=None)
• • frame: 文件、字符串或产生器，可以使.gz或.bz2的压缩文件。
  • array:存入文件的数组。
  • fmt:写入文件中每个元素的格式：%d %.2f %.18e(科学计算法)。
  • delimiter:分割字符串，默认是任何空格。(CSV为逗号)
• np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)
• • frame: 文件、字符串或产生器，可以使.gz或.bz2的压缩文件。
  • dtype:数据类型，可选。
  • delimiter:分割字符串，默认是任何空格。(CSV为逗号)
  • unpack:如果True,读入属性分别写入不同变量。

     只能有效存取一维和二维数组。

二、多维数组的存取

• a.tofile(frame, sep='', format='%s')（此时维度信息丢失，若还原需用reshape，此前，维度信息须单独存在元数据文件中）
• • frame:文件、字符串。
  • sep:数据分割字符串，如果是空串，写入文件为二进制（可作为文件备份方式）。
  • format:写入数据的格式。
• np.fromfile(frame, dtype=float, count=-1, sep='')
• • frame:文件、字符串。
  • dtype:读取文件类型。
  • count:读入元素个数，-1表示读入整个文件。
  • sep:数据分割字符串，如果是空串，写入文件为二进制。
• Numpy的便捷文件存取;
• • np.save(fname, array) 或 np.savez(fname, array):
  • • frame:文件名，以.npy为扩展名，压缩扩展名为.npz
    • array:数组变量
  • np.load(fname)

三、Numpy的随机数函数

     Numpy的random子库：np.random.*

• rand(d0, d1,...,dn)    根据d0-dn（维度形状）创建随机数数组，浮点数，[0,1），均匀分布
• randn(d0, d1,...,dn )    根据d0-dn创建随机数数组，标准正态分布
• randint(low[,high, shape])    根据shape创建随机整数或整数数组，范围是[low, high）
• seed(s)    随机数种子，s是给的种子值。相同的种子，产生的随机数相同。
• shuffle(a)    根据数组a的第0轴进行随排列，改变数组x
• permutation(a)    根据数组a的第0轴产生一个新的乱序数组，不改变数组x
• choice(a[, size, replace, p])    从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可重取元素
• uniform(low,high.size)    产生具有均匀分布的数组，low起始值，high结束值，size形状
• normal(loc, scale, size)    产生具有正态分布的数组，loc均值，scale标准差，size形状
• poisson(lam,size)    产生泊松分布的数组，lam随机事件发生率，size形状。

四、Numpy的统计函数

     调用：numpy.*

• sum(a, axis=None)    给定轴axis，计算数组a相关元素之和，axis整数或元组
• mean(a, axis=None)    给定轴axis，计算数组a相关元素期望，axis整数或元组
• average(a, axis=None, weight=None)    给定轴axis，计算数组a相关元素的加权平均值
• std(a, axis=None)    给定轴axis，计算数组a相关元素的标准差
• var(a, axis=None)    方差
• min(a) max(a)    计算a中最值。
• argmin(a) argmax(a)    计算a中元素最值的降一维后下标
• unravel_index(index, shape)    根据shape将一维下标index转换成多维下标
• ptp(a)    计算数组a中最值之差
• median(a)    计算a的中位数（中值）,由公式求得，结果是一个浮点数

五、Numpy的梯度函数

• np.gradient(f)    计算数组f中元素的梯度，当f为多维时，返回每个维度梯度（）。
• • 梯度：连续值之间的变化率，即斜率。XY坐标轴连续三个X坐标对应的Y轴值：a, b, c,其中，b的梯度是：(c-a)/2，只有一侧值时，减去相邻的值。
  • 作用，在图像和声音处理时，梯度有利于发现文件的边缘。

---

Unit3、实例1：图像的手绘效果

一、图像的表示

图像的RGB色彩模式：每个像素点的颜色由R、G、B（0-255）组成，每个像素3个字节。

PIL库，Python Image Library.(pip install pillow)

from PIL import Image

图像的数组表示：图像是一个由像素组成的二维矩阵，每个元素是一个RGB值。

     im = np.array(Image.open("***.jpg")

     print (im.shape, im.dtype)

>>(669, 1012, 3) uint8#图像是一个三维数组。

二、 图像的一般变换

读入图像，获得像素RGB,修改后保存为新的文件。

1、彩色取反图

from PIL import Image

import numpy as np

a = np.array(Image.open("D:/pycode/tian_an_men.jpg"))

print(a.shape, a.dtype)

#(300, 451, 3) uint8

b = [255, 255, 255] -a

im = Image.fromarray(b.astype('uint8'))

im.save("D:/pycode/tian_an_men_2.jpg")

2、底片

from PIL import Image

import numpy as np

a = np.array(Image.open("D:/pycode/tian_an_men.jpg") .convert('L'))

#.convert('L'),获得灰度值,得到二维数组

b = 255 - a

im = Image.fromarray(b.astype('uint8'))

im.save("D:/pycode/tian_an_men_3.jpg")

3、灰度变换

from PIL import Image

import numpy as np

a = np.array(Image.open("D:/pycode/tian_an_men.jpg").convert('L'))

#.convert('L'),获得灰度值,得到二维数组

c = (100/255)*a + 150 #区间变换

im = Image.fromarray(c.astype('uint8'))

im.save("D:/pycode/tian_an_men_4.jpg")

4、高灰度值

from PIL import Image

import numpy as np

a = np.array(Image.open("D:/pycode/tian_an_men.jpg").convert('L'))

#.convert('L'),获得灰度值,得到二维数组

d = 255*(a/255)**2 #像素平方，提高锐度

im = Image.fromarray(d.astype('uint8'))

im.save("D:/pycode/tian_an_men_4.jpg")

三、图像的手绘效果

- from PIL import Image

- import numpy as np

-

- a = np.asarray(Image.open('./beijing.jpg').convert('L')).astype('float')

-

- depth = 10.                      # (0-100)

- grad = np.gradient(a)            #取图像灰度的梯度值

- grad_x, grad_y = grad              #分别取横纵图像梯度值

- grad_x = grad_x*depth/100.

- grad_y = grad_y*depth/100.

-#使用柱坐标系，虚拟高度为1

- A = np.sqrt(grad_x**2 + grad_y**2 + 1.)

- uni_x = grad_x/A

- uni_y = grad_y/A

- uni_z = 1./A

- vec_el = np.pi/2.2                  # 光源的俯视角度，弧度值

- vec_az = np.pi/4.                    # 光源的方位角度，弧度值

- dx = np.cos(vec_el)*np.cos(vec_az)  #光源对x 轴的影响

- dy = np.cos(vec_el)*np.sin(vec_az)  #光源对y 轴的影响

- dz = np.sin(vec_el)            #光源对z 轴的影响

-

- b = 255*(dx*uni_x + dy*uni_y + dz*uni_z)    #光源归一化

- b = b.clip(0,255)     #限定取值范围

-

- im = Image.fromarray(b.astype('uint8')) #重构图像

- im.save('./beijingHD.jpg')