Python Machine Learning 项目技术栈全景:从 NumPy、scikit-learn 到 Theano 与 Keras

  • 机器学习
  • 教程

【免费下载链接】python-machine-learning-book

The "Python Machine Learning (1st edition)" book code repository and info resource

项目地址: https://gitcode.com/gh_mirrors/py/python-machine-learning-book
点击查看 免费下载

《Python Machine Learning》项目(即 python-machine-learning-book 仓库)的 faq/technologies.md 明确回答了"这本书到底用了哪些技术与库"这一核心问题:它既不是一本纯 scikit-learn 使用手册,也不是纯理论教材,而是"从零实现算法 + 借助成熟库实战"双轨并行的学习路径。本文以该 FAQ 文档为骨架,结合仓库中 13 个章节的 notebook 与脚本源码,梳理这份技术栈清单中每个库的具体用途、在仓库中的真实调用位置,以及如何按书中要求搭建可复现的运行环境。

为什么这本书需要一套"组合拳"式的技术栈

FAQ 文档开篇就给出了一条关键定位:"At its core, this book is about machine learning. It's not yet another of those 'How to use scikit-learn' type of guides."(这本书的核心是机器学习本身,而不是又一本 scikit-learn 操作指南)。这决定了它的技术选型策略——不是"只用一个库",而是"以 scikit-learn 为实战主力、以手写实现理解原理、以其他科学计算库打底"。

文档给出了采用"从零实现算法"这一教学路径的三条理由(faq/technologies.md):

  1. 一步步实现算法,能更深刻地理解算法本身;
  2. 获得实现算法的实战练习,这是非常有用的工程技能;
  3. 有些算法在 scikit-learn 等库中尚未实现,但它们在真实项目中很有价值。

这套理念在仓库代码里得到充分印证:第 2 章的 Perceptron 与 Adaline 分类器、第 12 章的 NeuralNetMLP 多层感知机,都是用 NumPy 从零手写的类;而第 3 章起则大量切换到 scikit-learn 的现成分类器(决策树、SVM、KNN 等)。

技术栈总览:FAQ 列出的 11 项核心依赖

FAQ 文档末尾给出了一份"tl;dr"级别的核心库清单(faq/technologies.md),按用途可以划分为四类:

类别库在仓库中的典型用途
语言与交互环境Python 3.4.3+、IPython/Jupyter Notebook运行全部代码示例、展示图表与公式
科学计算与数据处理NumPy、SciPy、pandas多维数组运算、科学函数、表格化数据操作
机器学习与可视化scikit-learn、matplotlib、seaborn现成算法、训练/评估流程、统计图表
Web 与深度学习Flask、sqlite3、Theano、Keras模型部署、增量学习、GPU 并行神经网络训练

需要特别说明的是,FAQ 原文撰写于 2015 年,所列版本(如 Python 3.4.3)对应的是书籍写作时的环境基线。仓库 code/ch01/README.md 明确指出:本书面向 Python >= 3.4.3 编写,并推荐使用当时最新的 Python 3 版本,多数代码示例也与 >= 2.7.10 兼容。对于今天的读者,建议直接使用当前最新的 Python 3 稳定版。

scikit-learn:贯穿全书的主战机器学习库

FAQ 文档用较大篇幅强调了 scikit-learn 的地位:它的 API 优秀、易学易用,是当时最常用的机器学习库(faq/technologies.md)。同时作者强调,在理解基本概念与工作流之后,scikit-learn 只是"众多可选项之一"(faq/technologies.md),但学完这本书,你几乎能掌握关于 scikit-learn 的一切,足以立即投入实际问题解决。

仓库中的调用证据分布极广:

  • 第 3 章(scikit-learn 分类器巡礼):决策树、K 近邻、朴素贝叶斯、SVM 等现成分类器;
  • 第 6 章(模型评估与超参优化):GridSearchCV、cross_val_score、学习曲线等;
  • 第 7 章(集成学习):随机森林、AdaBoost、多数投票集成;
  • 第 8 章(情感分析):ch08.py 中使用 CountVectorizer、TfidfVectorizer、HashingVectorizer 进行文本特征提取,并用 LogisticRegression、SGDClassifier 完成分类;
  • 第 10 章(回归分析):线性回归、Ridge/Lasso 等。

值得留意的是第 8 章对 scikit-learn 的"活学活用":HashingVectorizer 与 SGDClassifier.partial_fit() 的搭配实现了流式/增量学习——在 Web 应用中每次收到用户反馈就更新一次模型,这正是 FAQ 所说"把 scikit-learn 学到能直接解决问题的程度"的典型范例(参见 movieclassifier_with_update/update.py)。

手写实现:NumPy 是理解算法原理的基石

FAQ 强调"我们也要从零实现算法",而实现的语言就是 NumPy。仓库中每一章的"from scratch"部分都以 NumPy 为唯一依赖:

  • 第 2 章的感知机 Perceptron 类使用 np.dot 计算净输入、用 NumPy 数组保存权重向量,训练循环完全手写(ch02.py);
  • 第 12 章的 NeuralNetMLP 手写了前向传播、反向传播、L1/L2 正则化、momentum 与 mini-batch 学习,仅依赖 numpy 与 scipy.special.expit(sigmoid 激活函数)(neuralnet.py);
  • 第 11 章的 K-means、第 5 章的 PCA/LDA 等,也都是在 NumPy 数组上手工实现矩阵运算。

这种"先手写、再对比库实现"的模式,正是 FAQ 三条理由的直接落地:你能看到每个权重更新公式的每一行代码,而不是黑盒调用。

pandas、SciPy 与可视化:数据科学与图表展示

FAQ 提到其他将学到的库包括 SciPy、NumPy、matplotlib、pandas、seaborn 等,"基本上是 Python 数据科学/机器学习的全部必备品"(faq/technologies.md)。

  • pandas:用于读取 CSV 等表格数据、处理缺失值。仓库内置数据集如 datasets/iris/iris.data、datasets/wdbc/wdbc.data、datasets/housing/housing.data 均由 pandas 读取后再转为 NumPy 数组;
  • SciPy:提供 expit(sigmoid 函数,neuralnet.py)、稀疏矩阵、科学常数等,常作为 scikit-learn 的底层依赖出现;
  • matplotlib:几乎每章的绘图(决策边界、学习曲线、聚类散点图)都由它完成;
  • seaborn:用于绘制统计图形,如第 10 章回归分析中的相关性热力图。

仓库还提供了一个环境自检脚本 code/check_environment.ipynb:它依次导入 numpy、scipy、matplotlib、sklearn、pandas 五个核心包并检查版本是否达到建议值(如 NumPy >= 1.10、scikit-learn >= 0.17.1),可直接在 Jupyter 中运行以确认环境就绪。

Flask 与 sqlite3:把模型部署成 Web 应用

FAQ 将 Flask 与 sqlite3 列入技术栈,对应书中第 9 章"把机器学习模型嵌入 Web 应用"。这是全书中唯一涉及模型落地的章节,仓库提供了三个可运行的 Flask 项目:

  1. 1st_flask_app_1 与 1st_flask_app_2:Flask 入门示例,演示表单渲染与静态资源;
  2. movieclassifier:完整的电影评论情感分类 Web 应用——app.py 启动 Flask 应用,加载 pkl_objects/classifier.pkl 序列化模型,接收评论文本、返回"正面/负面"标签与置信度概率;
  3. movieclassifier_with_update:在前者基础上加入增量学习——用户点击"反馈"按钮后,train() 调用 clf.partial_fit() 更新模型,同时 sqlite_entry() 把新样本写入 reviews.sqlite 数据库。

这里 sqlite3 的角色是持久化用户反馈数据,供后续重新训练使用;Flask 的角色是把 scikit-learn 模型封装成可交互的 Web 服务。两者共同演示了"数据科学模型 → 生产服务"的完整链路。

Theano 与 Keras:深度学习与 GPU 并行训练

FAQ 技术栈的最后两项是 Theano 与 Keras(faq/technologies.md),对应第 13 章"用 Theano 并行化神经网络训练"。

  • Theano:负责符号化定义计算图并编译为高效的 GPU/CPU 代码。仓库 ch13.py 展示了最基础的用法:用 T.scalar() 声明符号变量,构造 z1 = w1 * x1 + w0 表达式,再通过 theano.function() 编译成可调用的函数;
  • Keras:作为 Theano 之上的高层封装,用几行代码即可搭建 MLP。mnist_keras_mlp.py 展示了用 Sequential 模型在 MNIST 上训练多层感知机,包含 Dense 层、SGD 优化器与 np_utils 的 one-hot 编码。

需要说明的历史背景:Theano 已于 2017 年停止维护,Keras 随后转向以 TensorFlow 为后端。但第 13 章的核心价值——符号计算、自动求导、声明式模型构建——这些概念至今仍适用于 PyTorch、TensorFlow 等现代框架,理解 Theano 的思维模型并不会过时。

环境搭建:如何复现这套技术栈

根据 code/ch01/README.md 与 faq/technologies.md,搭建环境的推荐路径如下:

方式一:pip 安装(官方推荐)

pip install numpy scipy matplotlib pandas scikit-learn seaborn jupyter notebook flask
pip install theano keras   # 第 13 章深度学习部分

方式二:Anaconda 发行版(书中强力推荐)

Anaconda 一次性捆绑了数据科学所需的全部核心包,安装后用 conda 管理:

conda install numpy scipy matplotlib pandas scikit-learn
conda install jupyter notebook

方式三:运行环境自检

jupyter notebook   # 打开 code/check_environment.ipynb

运行仓库自带的 check_environment.ipynb,脚本会打印每个核心库的当前版本,并与建议版本(NumPy 1.10、SciPy 0.17、matplotlib 1.5.1、scikit-learn 0.17.1、pandas 0.17.1)对比,低于建议值时输出 [FAIL] 提示升级。

书中各章节代码以 Jupyter Notebook(.ipynb)形式存放于 code/ch01 至 code/ch13,同时 code/optional-py-scripts 提供了与 notebook 内容等价的可直接运行的 .py 脚本版本(ch02.py 至 ch13.py),便于不熟悉 notebook 的读者直接执行。

小结:一条"理解原理 → 熟练实战 → 落地部署"的完整技术链路

回到 FAQ 的核心主张(faq/technologies.md):scikit-learn 只是把机器学习付诸实践的众多选项之一,但本书的教学重点是基本概念与工作流。这套技术栈的设计恰好形成了一个完整的闭环:

  1. NumPy/SciPy 提供从零实现算法的数学基座,确保你理解每个公式;
  2. scikit-learn 提供工业级 API,让你立即把算法用于真实问题;
  3. pandas/matplotlib/seaborn 支撑数据清洗与洞察的可视化;
  4. Flask/sqlite3 打通模型到 Web 服务的部署链路;
  5. Theano/Keras 打开深度学习与高性能并行计算的大门。

对今天的读者,这份清单的启示依然成立:先用手写实现建立直觉,再以 scikit-learn 等成熟库提升效率,最后通过 Web 与深度学习框架将模型推向真实场景——这正是《Python Machine Learning》希望传递的能力模型。

  • 机器学习
  • 教程

【免费下载链接】python-machine-learning-book

The "Python Machine Learning (1st edition)" book code repository and info resource

项目地址: https://gitcode.com/gh_mirrors/py/python-machine-learning-book
点击查看 免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值