《机器学习(周志华)》 阅读笔记

1 绪论

1.1 引言

(什么是机器学习:让计算机通过已有的经验进行学习,做出归纳和判断。)

1.2 基本术语

尽管训练样本集只是样本空间的一个很小的采样,我们仍然希望它能很好的反应出样本空间的特性,否则就很难期望在训练集上学得的模型能在整个样本空间上都工作很好。(因此,要想模型能够准确的预测未见过的样本,至少它需要见过和它很相似的样本!当然,迁移学习提供了另一种思路。)

通常假设样本空间中全体样本服从一个未知分布,我们获得的样本都是独立的从这个分布上采样获得的,即“独立同分布”。(一定要记住和理解这个假设!例如,在训练深度学习模型时,根据某种固定模式生成训练数据,如果不是随机取batch sample而是顺序取,会发现训练时每次迭代loss震荡很大,就是因为数据不是采样得到的,而是每个batch都代表着某种类型的数据)

1.3 假设空间

(假设空间很大就是说,与训练集一致的模型可以有很多种。)

1.4 归纳偏好

归纳偏好可看做学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。
“奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则,即“若有多个假设与观察一致,则选择最简单的那个”。然而,它并非唯一可行原则
NFL定理最重要是说,脱离具体问题,空泛的谈论“什么学习算法更好”毫无意义,因为若考虑所有潜在问题,则所

### 周志华机器学习》书籍复习指南 为了有效准备期末考试,建议采用结构化的复习方法来理解周志华所著《机器学习》的核心概念。这本书籍涵盖了广泛的理论和技术细节,在复习过程中应当注重以下几个方面: #### 1. 掌握基础概念 确保对监督学习、无监督学习和支持向量机等基本术语的理解深入透彻[^1]。 #### 2. 关键算法详解 重点研究书中提到的关键算法,比如决策树、朴素贝叶斯分类器以及K近邻算法等。对于每种算法,不仅要了解其工作原理,还要熟悉如何应用这些算法解决实际问题。 #### 3. 数学推导的重要性 注意书中涉及的各种数学公式的推导过程,特别是概率论、线性代数和最优化方面的知识。这部分内容虽然可能较为抽象复杂,但对于构建坚实的理论基础至关重要。 #### 4. 实践练习不可或缺 通过编程实现一些简单的机器学习项目或实验可以帮助加深理解和记忆。尝试使用Python或其他工具包重现书本上的案例,并探索不同参数设置下模型性能的变化[^2]。 ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier # 加载鸢尾花数据集 data = load_iris() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target) # 创建并训练kNN分类器 clf = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train) print(f'Accuracy on test set: {clf.score(X_test, y_test):.2f}') ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值