周志华 机器学习 笔记

本文探讨了机器学习中归纳偏好的概念,强调了学习算法与问题匹配的重要性,并介绍了没有免费的午餐定理,说明了针对不同问题选择合适模型与参数的必要性。此外,文章还讨论了经验误差与过拟合现象,解释了它们如何影响模型的训练和泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第1章

1.4归纳偏好

学习算法自身的归纳偏好与问题是否相配,往往会起到决定作用。

对于上面这句话:你的输入数据被怎么处理,最终得到什么结果,我认为偏好指的就是这个处理的过程。线性非线性?那些feature忽略掉?怎么利用这些数据?更具体一些,你用网络处理,还是传统方法,数据的分布和你的处理方法相符吗?

没有免费的午餐定理

也可以说是没有放之四海皆准的算法。针对不同的问题要有不同的模型与参数。比如人脸识别就得用metric learning,你用svm那根本没法给标签。

以及这两句是一个意思。。。延伸一下,努力不是放之四海而皆准的,不是看起来忙就是努力,也不是努力就一定能比不不努力强,你得目的驱动,看任务设计计划。

第2章

2.1经验误差与过拟合

训练误差training error empirical error,训练数据的error,泛化误差,generalization error。

一般都用 training error做参数训练,模型建立,根据训练数据的error而优化模型。而test error 就是我们用来评判模型好坏的标准了。

over fitting underfitting

overfitting把training 样本的特点当作该类的特点,会把本来是本类的分为其他。underfitting特点提取的不够,会把其他有本类一些特点的物品认为是本类。

 

 

### 周志华机器学习》书籍复习指南 为了有效准备期末考试,建议采用结构化的复习方法来理解周志华所著《机器学习》的核心概念。这本书籍涵盖了广泛的理论和技术细节,在复习过程中应当注重以下几个方面: #### 1. 掌握基础概念 确保对监督学习、无监督学习和支持向量机等基本术语的理解深入透彻[^1]。 #### 2. 关键算法详解 重点研究书中提到的关键算法,比如决策树、朴素贝叶斯分类器以及K近邻算法等。对于每种算法,不仅要了解其工作原理,还要熟悉如何应用这些算法解决实际问题。 #### 3. 数学推导的重要性 注意书中涉及的各种数学公式的推导过程,特别是概率论、线性代数和最优化方面的知识。这部分内容虽然可能较为抽象复杂,但对于构建坚实的理论基础至关重要。 #### 4. 实践练习不可或缺 通过编程实现一些简单的机器学习项目或实验可以帮助加深理解和记忆。尝试使用Python或其他工具包重现书本上的案例,并探索不同参数设置下模型性能的变化[^2]。 ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier # 加载鸢尾花数据集 data = load_iris() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target) # 创建并训练kNN分类器 clf = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train) print(f'Accuracy on test set: {clf.score(X_test, y_test):.2f}') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值