数据分析三剑客之一：Numpy详解及实战

1 NumPy介绍

NumPy 软件包是Python生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理。Python的一些主要软件包（如 scikit-learn、SciPy、pandas 和 tensorflow）都以 NumPy 作为其架构的基础部分。除了能对数值数据进行切片（slice）和切块（dice）之外，使用 NumPy 还能为处理和调试上述库中的高级实例带来极大便利，享有数据分析“三剑客之一”的盛名（NumPy、Matplotlib、Pandas）。

1.1 NumPy的主要特点

• 多维数组：NumPy引入了多维数组对象（称为numpy.ndarray或简称为数组），它允许你在单个数据结构中存储和操作多维数据，如向量、矩阵和张量。

• 快速的数值运算：NumPy的底层实现是用C语言编写的，因此它能够执行高效的数值计算。它提供了一系列高度优化的数学函数，可用于执行各种数学和统计操作。

• 强大的索引和切片：NumPy提供了丰富的索引和切片功能，允许你高效地访问和操作数组的元素。

• 丰富的数学函数库：NumPy包含了大量的数学函数，用于执行各种数值计算，如三角函数、指数函数、对数函数等。NumPy包含了线性代数操作的函数，如矩阵乘法、特征值分解、奇异值分解等，使其成为数值线性代数的强大工具。

• 互操作性：NumPy与其他常用的科学计算库（如SciPy、pandas和Matplotlib）紧密集成，使得在不同库之间传递数据变得非常容易。

1.2 NumPy数据类型

NumPy支持的数据类型比 Python 内置的类型要多很多，基本上可以和 C 语言的数据类型对应上，其中部分类型对应为 Python 内置的类型。下表列举了常用 NumPy 基本类型。

名称	描述
bool_	布尔型数据类型（True 或者 False）
int_	默认的整数类型（类似于 C 语言中的 long，int32 或 int64）
intc	与 C 的 int 类型一样，一般是 int32 或 int 64
intp	用于索引的整数类型（类似于 C 的 ssize_t，一般情况下仍然是 int32 或 int64）
int8	字节（-128 to 127）
int16	整数（-32768 to 32767）
int32	整数（-2147483648 to 2147483647）
int64	整数（-9223372036854775808 to 9223372036854775807）
uint8	无符号整数（0 to 255）
uint16	无符号整数（0 to 65535）
uint32	无符号整数（0 to 4294967295）
uint64	无符号整数（0 to 18446744073709551615）
float_	float64 类型的简写
float16	半精度浮点数，包括：1 个符号位，5 个指数位，10 个尾数位
float32	单精度浮点数，包括：1 个符号位，8 个指数位，23 个尾数位
float64	双精度浮点数，包括：1 个符号位，11 个指数位，52 个尾数位
complex_	complex128 类型的简写，即 128 位复数
complex64	复数，表示双 32 位浮点数（实数部分和虚数部分）
complex128	复数，表示双 64 位浮点数（实数部分和虚数部分）

numpy的数值类型实际上是dtype对象的实例，并对应唯一的字符，包括np.bool_，np.int32，np.float32等等。

数据类型对象 (dtype)

数据类型对象（numpy.dtype 类的实例）用来描述与数组对应的内存区域是如何使用，它描述了数据的以下几个方面：：

• 数据的类型（整数，浮点数或者 Python 对象）
• 数据的大小（例如， 整数使用多少个字节存储）
• 数据的字节顺序（小端法或大端法）
• 在结构化类型的情况下，字段的名称、每个字段的数据类型和每个字段所取的内存块的部分
• 如果数据类型是子数组，那么它的形状和数据类型是什么。

字节顺序是通过对数据类型预先设定“<”或“>”来决定的。

• “<”意味着小端法(最小值存储在最小的地址，即低位组放在最前面)。
• “>”意味着大端法(最重要的字节存储在最小的地址，即高位组放在最前面)。

dtype 对象是使用以下语法构造的：

numpy.dtype(object, align, copy)

• object - 要转换为的数据类型对象
• align - 如果为 true，填充字段使其类似C的结构体。
• copy - 复制 dtype 对象 ，如果为false，则是对内置数据类型对象的引用

1.3 ndarray对象

NumPy最重要的一个特点是其N维数组对象ndarray，它是一系列同类型数据的集合，以0下标为开始进行集合中元素的索引。
（1）ndarray对象是用于存放同类型元素的多维数组。
（2）ndarray中的每个元素在内存中都有相同存储大小的区域。
（3）ndarray内部由以下内容组成：

• 一个指向数据（内存或内存映射文件中的一块数据）的指针。
• 数据类型或dtype，描述在数组中的固定大小值的格子。
• 一个表示数组形状（shape）的元组，表示各维度大小的元组。

NumPy的数组中比较重要ndarray对象属性有：

 2 NumPy的使用

2.1<