【免费下载链接】python-machine-learning-book
The "Python Machine Learning (1st edition)" book code repository and info resource
《Python Machine Learning》项目(即 python-machine-learning-book 仓库)的 faq/technologies.md 明确回答了"这本书到底用了哪些技术与库"这一核心问题:它既不是一本纯 scikit-learn 使用手册,也不是纯理论教材,而是"从零实现算法 + 借助成熟库实战"双轨并行的学习路径。本文以该 FAQ 文档为骨架,结合仓库中 13 个章节的 notebook 与脚本源码,梳理这份技术栈清单中每个库的具体用途、在仓库中的真实调用位置,以及如何按书中要求搭建可复现的运行环境。
为什么这本书需要一套"组合拳"式的技术栈
FAQ 文档开篇就给出了一条关键定位:"At its core, this book is about machine learning. It's not yet another of those 'How to use scikit-learn' type of guides."(这本书的核心是机器学习本身,而不是又一本 scikit-learn 操作指南)。这决定了它的技术选型策略——不是"只用一个库",而是"以 scikit-learn 为实战主力、以手写实现理解原理、以其他科学计算库打底"。
文档给出了采用"从零实现算法"这一教学路径的三条理由(faq/technologies.md):
- 一步步实现算法,能更深刻地理解算法本身;
- 获得实现算法的实战练习,这是非常有用的工程技能;
- 有些算法在 scikit-learn 等库中尚未实现,但它们在真实项目中很有价值。
这套理念在仓库代码里得到充分印证:第 2 章的 Perceptron 与 Adaline 分类器、第 12 章的 NeuralNetMLP 多层感知机,都是用 NumPy 从零手写的类;而第 3 章起则大量切换到 scikit-learn 的现成分类器(决策树、SVM、KNN 等)。
技术栈总览:FAQ 列出的 11 项核心依赖
FAQ 文档末尾给出了一份"tl;dr"级别的核心库清单(faq/technologies.md),按用途可以划分为四类:
| 类别 | 库 | 在仓库中的典型用途 |
|---|---|---|
| 语言与交互环境 | Python 3.4.3+、IPython/Jupyter Notebook | 运行全部代码示例、展示图表与公式 |
| 科学计算与数据处理 | NumPy、SciPy、pandas | 多维数组运算、科学函数、表格化数据操作 |
| 机器学习与可视化 | scikit-learn、matplotlib、seaborn | 现成算法、训练/评估流程、统计图表 |
| Web 与深度学习 | Flask、sqlite3、Theano、Keras | 模型部署、增量学习、GPU 并行神经网络训练 |
需要特别说明的是,FAQ 原文撰写于 2015 年,所列版本(如 Python 3.4.3)对应的是书籍写作时的环境基线。仓库 code/ch01/README.md 明确指出:本书面向 Python >= 3.4.3 编写,并推荐使用当时最新的 Python 3 版本,多数代码示例也与 >= 2.7.10 兼容。对于今天的读者,建议直接使用当前最新的 Python 3 稳定版。
scikit-learn:贯穿全书的主战机器学习库
FAQ 文档用较大篇幅强调了 scikit-learn 的地位:它的 API 优秀、易学易用,是当时最常用的机器学习库(faq/technologies.md)。同时作者强调,在理解基本概念与工作流之后,scikit-learn 只是"众多可选项之一"(faq/technologies.md),但学完这本书,你几乎能掌握关于 scikit-learn 的一切,足以立即投入实际问题解决。
仓库中的调用证据分布极广:
- 第 3 章(scikit-learn 分类器巡礼):决策树、K 近邻、朴素贝叶斯、SVM 等现成分类器;
- 第 6 章(模型评估与超参优化):
GridSearchCV、cross_val_score、学习曲线等; - 第 7 章(集成学习):随机森林、AdaBoost、多数投票集成;
- 第 8 章(情感分析):ch08.py 中使用
CountVectorizer、TfidfVectorizer、HashingVectorizer进行文本特征提取,并用LogisticRegression、SGDClassifier完成分类; - 第 10 章(回归分析):线性回归、Ridge/Lasso 等。
值得留意的是第 8 章对 scikit-learn 的"活学活用":HashingVectorizer 与 SGDClassifier.partial_fit() 的搭配实现了流式/增量学习——在 Web 应用中每次收到用户反馈就更新一次模型,这正是 FAQ 所说"把 scikit-learn 学到能直接解决问题的程度"的典型范例(参见 movieclassifier_with_update/update.py)。
手写实现:NumPy 是理解算法原理的基石
FAQ 强调"我们也要从零实现算法",而实现的语言就是 NumPy。仓库中每一章的"from scratch"部分都以 NumPy 为唯一依赖:
- 第 2 章的感知机
Perceptron类使用np.dot计算净输入、用 NumPy 数组保存权重向量,训练循环完全手写(ch02.py); - 第 12 章的
NeuralNetMLP手写了前向传播、反向传播、L1/L2 正则化、momentum 与 mini-batch 学习,仅依赖numpy与scipy.special.expit(sigmoid 激活函数)(neuralnet.py); - 第 11 章的 K-means、第 5 章的 PCA/LDA 等,也都是在 NumPy 数组上手工实现矩阵运算。
这种"先手写、再对比库实现"的模式,正是 FAQ 三条理由的直接落地:你能看到每个权重更新公式的每一行代码,而不是黑盒调用。
pandas、SciPy 与可视化:数据科学与图表展示
FAQ 提到其他将学到的库包括 SciPy、NumPy、matplotlib、pandas、seaborn 等,"基本上是 Python 数据科学/机器学习的全部必备品"(faq/technologies.md)。
- pandas:用于读取 CSV 等表格数据、处理缺失值。仓库内置数据集如 datasets/iris/iris.data、datasets/wdbc/wdbc.data、datasets/housing/housing.data 均由 pandas 读取后再转为 NumPy 数组;
- SciPy:提供
expit(sigmoid 函数,neuralnet.py)、稀疏矩阵、科学常数等,常作为 scikit-learn 的底层依赖出现; - matplotlib:几乎每章的绘图(决策边界、学习曲线、聚类散点图)都由它完成;
- seaborn:用于绘制统计图形,如第 10 章回归分析中的相关性热力图。
仓库还提供了一个环境自检脚本 code/check_environment.ipynb:它依次导入 numpy、scipy、matplotlib、sklearn、pandas 五个核心包并检查版本是否达到建议值(如 NumPy >= 1.10、scikit-learn >= 0.17.1),可直接在 Jupyter 中运行以确认环境就绪。
Flask 与 sqlite3:把模型部署成 Web 应用
FAQ 将 Flask 与 sqlite3 列入技术栈,对应书中第 9 章"把机器学习模型嵌入 Web 应用"。这是全书中唯一涉及模型落地的章节,仓库提供了三个可运行的 Flask 项目:
- 1st_flask_app_1 与 1st_flask_app_2:Flask 入门示例,演示表单渲染与静态资源;
- movieclassifier:完整的电影评论情感分类 Web 应用——app.py 启动 Flask 应用,加载
pkl_objects/classifier.pkl序列化模型,接收评论文本、返回"正面/负面"标签与置信度概率; - movieclassifier_with_update:在前者基础上加入增量学习——用户点击"反馈"按钮后,
train()调用clf.partial_fit()更新模型,同时sqlite_entry()把新样本写入reviews.sqlite数据库。
这里 sqlite3 的角色是持久化用户反馈数据,供后续重新训练使用;Flask 的角色是把 scikit-learn 模型封装成可交互的 Web 服务。两者共同演示了"数据科学模型 → 生产服务"的完整链路。
Theano 与 Keras:深度学习与 GPU 并行训练
FAQ 技术栈的最后两项是 Theano 与 Keras(faq/technologies.md),对应第 13 章"用 Theano 并行化神经网络训练"。
- Theano:负责符号化定义计算图并编译为高效的 GPU/CPU 代码。仓库 ch13.py 展示了最基础的用法:用
T.scalar()声明符号变量,构造z1 = w1 * x1 + w0表达式,再通过theano.function()编译成可调用的函数; - Keras:作为 Theano 之上的高层封装,用几行代码即可搭建 MLP。mnist_keras_mlp.py 展示了用
Sequential模型在 MNIST 上训练多层感知机,包含Dense层、SGD优化器与np_utils的 one-hot 编码。
需要说明的历史背景:Theano 已于 2017 年停止维护,Keras 随后转向以 TensorFlow 为后端。但第 13 章的核心价值——符号计算、自动求导、声明式模型构建——这些概念至今仍适用于 PyTorch、TensorFlow 等现代框架,理解 Theano 的思维模型并不会过时。
环境搭建:如何复现这套技术栈
根据 code/ch01/README.md 与 faq/technologies.md,搭建环境的推荐路径如下:
方式一:pip 安装(官方推荐)
pip install numpy scipy matplotlib pandas scikit-learn seaborn jupyter notebook flask
pip install theano keras # 第 13 章深度学习部分
方式二:Anaconda 发行版(书中强力推荐)
Anaconda 一次性捆绑了数据科学所需的全部核心包,安装后用 conda 管理:
conda install numpy scipy matplotlib pandas scikit-learn
conda install jupyter notebook
方式三:运行环境自检
jupyter notebook # 打开 code/check_environment.ipynb
运行仓库自带的 check_environment.ipynb,脚本会打印每个核心库的当前版本,并与建议版本(NumPy 1.10、SciPy 0.17、matplotlib 1.5.1、scikit-learn 0.17.1、pandas 0.17.1)对比,低于建议值时输出 [FAIL] 提示升级。
书中各章节代码以 Jupyter Notebook(.ipynb)形式存放于 code/ch01 至 code/ch13,同时 code/optional-py-scripts 提供了与 notebook 内容等价的可直接运行的 .py 脚本版本(ch02.py 至 ch13.py),便于不熟悉 notebook 的读者直接执行。
小结:一条"理解原理 → 熟练实战 → 落地部署"的完整技术链路
回到 FAQ 的核心主张(faq/technologies.md):scikit-learn 只是把机器学习付诸实践的众多选项之一,但本书的教学重点是基本概念与工作流。这套技术栈的设计恰好形成了一个完整的闭环:
- NumPy/SciPy 提供从零实现算法的数学基座,确保你理解每个公式;
- scikit-learn 提供工业级 API,让你立即把算法用于真实问题;
- pandas/matplotlib/seaborn 支撑数据清洗与洞察的可视化;
- Flask/sqlite3 打通模型到 Web 服务的部署链路;
- Theano/Keras 打开深度学习与高性能并行计算的大门。
对今天的读者,这份清单的启示依然成立:先用手写实现建立直觉,再以 scikit-learn 等成熟库提升效率,最后通过 Web 与深度学习框架将模型推向真实场景——这正是《Python Machine Learning》希望传递的能力模型。
【免费下载链接】python-machine-learning-book
The "Python Machine Learning (1st edition)" book code repository and info resource
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考



