第五十一节课：Python计算生态全景 - 从数据处理到人工智能

Python计算生态全景 - 从数据处理到人工智能

目录

1. 数据处理核心库
2. 数据可视化工具
3. 文本处理利器
4. 机器学习框架

---

1. 数据处理核心库

NumPy - 科学计算基石

import numpy as np
# 创建数组并运算
arr = np.array([1,2,3])
print(arr * 2)  # 向量化运算 [2 4 6]

• N维数组对象
• 广播机制
• 线性代数运算
• C底层加速计算

Pandas - 数据分析神器

import pandas as pd
df = pd.DataFrame({'A': [1,2], 'B': ['a','b']})
print(df.describe())

• Series/DataFrame数据结构
• 数据清洗与预处理
• 时间序列处理
• 数据聚合统计

SciPy - 科学计算工具箱

from scipy.fft import fft
# 傅里叶变换示例
signal = [0,1,0,-1]
print(fft(signal))

• 数学算法集合
• 信号处理模块
• 图像处理工具
• 稀疏矩阵运算

---

2. 数据可视化工具

Matplotlib - 经典绘图库

import matplotlib.pyplot as plt
plt.plot([1,2,3], [4,5,1])
plt.title('基础折线图')
plt.show()

• 支持2D/3D绘图
• 超100种图表类型
• 高度可定制化
• 学术论文级输出

Seaborn - 统计可视化

import seaborn as sns
sns.boxplot(x='class', y='age', data=titanic)

• 基于Matplotlib封装
• 统计图表增强
• 内置配色方案
• 数据分布可视化

Mayavi - 科学可视化

from mayavi import mlab
mlab.points3d(x, y, z, scale_factor=0.1)
mlab.show()

• 三维数据可视化
• 流场/体绘制
• 交互式操作
• VTK底层支持

---

3. 文本处理利器

PyPDF2 - PDF处理专家

from PyPDF2 import PdfMerger
merger = PdfMerger()
merger.append("file1.pdf")
merger.write("combined.pdf")

• PDF合并/拆分
• 元数据读取
• 加密解密
• 文字提取

NLTK - 自然语言处理

from nltk import pos_tag
text = "Python is amazing"
print(pos_tag(text.split()))

• 词性标注
• 命名实体识别
• 句法分析
• 语义推理

python-docx - Word自动化

from docx import Document
doc = Document()
doc.add_heading('报告', 0)
doc.save('report.docx')

• 文档生成
• 格式控制
• 表格插入
• 样式管理

---

4. 机器学习框架

Scikit-learn - 经典算法库

from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier()
clf.fit(X_train, y_train)

• 监督/无监督学习
• 模型评估工具
• 数据预处理
• 特征工程

TensorFlow - 深度学习框架

import tensorflow as tf
model = tf.keras.Sequential([
    tf.keras.layers.Dense(10, activation='relu')
])
model.compile(optimizer='adam')

• 计算图架构
• GPU加速支持
• Keras高级API
• 工业级部署

MXNet - 分布式深度学习

from mxnet import gluon
net = gluon.nn.Sequential()
net.add(gluon.nn.Dense(256, activation='relu'))

• 动态/静态图混合
• 多GPU支持
• 移动端优化
• 自动微分

---

技术生态图谱

学习建议：

1. 从NumPy/Pandas基础开始建立数据理解能力
2. 通过Matplotlib/Seaborn培养数据敏感度
3. 使用Scikit-learn入门机器学习基础
4. 选择TensorFlow/MXNet深入深度学习

[NumPy官方文档]https://numpy.org/doc/
[Scikit-learn中文教程]https://scikit-learn.org.cn/