周志华 机器学习 Day1

绪论

机器学习致力于研究如何通过计算手段,利用经验来改善系统自身的性能。

我们收集了一组数据记录,成为“数据集”,每条记录是关于一个事件或者对象,成为“样本”,反映事件或对象在某方面的额表现或性质的事项,称为“属性”或“特征”。

一般地,令 D = {X1,X2,....,Xm } 表示包含 m 个示例的数据集,每个示例由 d 个属性描述(例如上面的西瓜数据使用了3个属性),则每个示例Xi = (Xi1; Xi2; . . . ; Xid) 是 d 维样本空间 X 中的一个向量 ,Xi ε X ,其中 Xij 是凯在第 j 个属性上的取值(例如上述第 3 个西瓜在第 2 个属性上的值是"硬挺" ), d 称为样本院的"维数"

从数据中学模型的过程称为“学习”或者“训练”,训练过程使用的数据称为“训练数据”,每个样本称为“训练样本”,样本的集合称为“训练集”。

若我们预测的是离散值,称为“分类”,若预测的是连续值,则称为“回归”。一般地,预测任务是通过对训练集进行学习的,建立一个从输入空间X到输出空间Y的映射f:X->Y。对二分类任务,通常令 Y = {-1 ,+1} 或 {0 ,1}; 对多分类任务, IYI >2; 对回归任务,Y= lR,lR为实数集.。

根据训练数据是否拥有标记信息,学习任务可分为“监督学习”和“无监督学习”,分类和回归是前者的代表,聚类是后者的代表。

从以下训练集:


从上图中,我们利用机器学习,最终的结果必然是能够自主识别西瓜的好坏,通过色泽=?∧根蒂=?∧敲声=?判断好瓜与坏瓜;通过不断的学习,使得“?”的内容能够确定下来,得到较为准确的判断。这样的判断总共有4 x x 3 + 1 = 37



上图即为假设空间,机器学习任务即是从中学习并获得准确的判断。其中,拥有与训练集相同的假设,称为“版本空间”。

同时需要注意的是,不同的模型对同一种样本可能会产生不一样的结果;因此,算法在学习的过程中对某种类型假设的偏好,称为“归纳偏好”或简称为“偏好”。


横坐标x与纵坐标y得到的点(x,y)是一个训练集,要学得一个与训练集一样的模型,相当于找到一条穿过所有训练样本点的曲线,不用的偏好会导致曲线的不同。

### 关于周志华机器学习》中的公式推导 为了更好地理解周志华机器学习》中的公式推导,可以从几个方面入手: #### 1. 掌握基础知识 确保具备足够的数学背景知识对于理解和掌握书中涉及的各种公式至关重要。这包括但不限于线性代数、概率论与统计学的基础概念[^3]。 #### 2. 阅读相关章节并跟随逻辑推理 每章开头通常会给出该部分的核心思想和目标,在阅读过程中应当注意作者是如何逐步引入新的知识点,并通过具体的例子或应用场景加深理解。当遇到复杂的定理证明时,建议先尝试自己思考其背后的原理再对照原文验证自己的想法是否正确[^4]。 #### 3. 参考其他资源辅助学习 如果觉得某些地方难以理解,则可以寻找额外的学习材料作为补充说明。例如,《机器学习》这本书在系列原创机器学习30讲的基础上进行了扩展,提供了详细的公式推导和代码实现案例,有助于更深入地了解各个算法的工作机制及其数学依据[^1]。 #### 4. 实践练习巩固所学内容 理论联系实际是提高编程能力和解决具体问题的有效途径之一。可以通过编写简单的程序来重现书中的实验结果或是参与开源项目贡献等方式积累经验。此外,“南瓜书”也是一份非常有价值的参考资料,它记录了许多人在自学过程中遇到的问题及解决方案,可以帮助读者克服难关成为更加优秀的开发者。 ```python import numpy as np def calculate_gradient(X, y, w): """ 计算梯度下降法中的梯度 参数: X (numpy.ndarray): 输入特征矩阵 y (numpy.array): 输出标签向量 w (numpy.array): 权重参数 返回: grad_w (numpy.array): 对w求偏导后的梯度值 """ N = len(y) predictions = 1 / (1 + np.exp(-X.dot(w))) error = predictions - y grad_w = (1/N) * X.T.dot(error) return grad_w ``` 此函数展示了如何基于给定的数据集计算逻辑回归模型中权重更新所需的梯度,这是许多机器学习教材都会讨论的一个典型实例。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值