- 博客(11)
- 收藏
- 关注
RSS订阅原创 正则化的应用
假如我们有很多特征，我们可能不知道哪些是最重要的特征，哪些是需要经过正则化的对预测结果影响很小的特征。用二次函数对数据进行拟合时，会得到拟合效果相当好的结果，但用非常高阶的多项式进行拟合，就会得到一条过拟合的曲线。对成本函数和梯度下降算法进行正则化目的都是为了能够在迭代过程中持续约束参数的大小，使得最终得到的参数能够保证算法预测更准确，防止模型过拟合，进一步提高模型的泛化能力。，是一个非常大的数，意味着在正则化项施加了非常大的权重，而最小化这个代价函数的唯一方法既是确保所有。进行正则化，因为我们希望只对。
2025-09-18 22:30:02
333
原创 过拟合 如何解决过拟合
现在，如果我们只选择最有用的特征子集，例如房屋面积、卧室数量、房屋年龄，当我们使用这些最少的特征子集，模型可能就不会出现严重过拟合现象。获取更多数据和特征选择这两种办法的局限性较强，例如特征选择时可能会考虑不到其他对预测也很有用的信息，正则化的方法就相对“顾全大局”，通过减小参数值的办法在保证所有特征不被丢弃的同时能够使模型更好地拟合对训练数据。看样子它是完美地拟合了训练数据，但对于它上下波动的特点，会出现房子面积大的价格比房子面积小的高的情况，有点不符常理。我们可以采用使用更少的特征的办法来解决过拟合。
2025-09-09 18:52:06
682
原创 机器学习 决策边界
总而言之，我们可以通过对多项式特征的选择得到非常复杂的决策边界。当我们为函数选择了不同的参数，决策边界便不再那么“直”，它会变成不同形态。时出现，从函数上看就是单位圆的表达式，具体表现为下图中的黄色圆圈。在图像中，有一条“楚河汉界”，这条分界线就叫决策边界，当。，红色叉号表示正例，蓝色圆圈表示反例，我们设红色叉号对应。时就会出现，它决定了你属于蓝色圆圈还是红色叉号，即。时，图中表示为黄色圆圈以外的区域，这时模型的预测为。，图中的黄色线就是决策边界。时，处于黄色圆圈范围内，模型预测值为。
2025-08-23 23:38:09
300
原创 机器学习 逻辑回归
用以往的线性回归的办法来拟合数据并不能得到一个很好的结果。假如有大小为如图横轴上一点的肿瘤进行预测，通过图像判断出在竖轴上输出为。逻辑回归是一种常用于分类问题的学习方法，它的核心作用是对分类问题进行预测。下图是一个数据集的图表，用以预测肿瘤是良性还是恶性。逻辑函数的核心是Sigmoid函数，也称作Logistic函数。该函数的输入可以为任意实数，输出始终落在。假设有一个函数图像为直线的函数，例如线性回归函数，将其定义为。，那么就意味着该模型预测这个患者的肿瘤为恶性肿瘤的概率为。%的概率该肿瘤为良性肿瘤。
2025-08-15 15:18:15
370
原创 特征缩放 检查梯度下降收敛
学习曲线作用是通过可视化模型在训练集和验证集的性能随训练样本量增加或者训练迭代次数增加的变化趋势，帮助理解模型的学习过程。当特征之间取值范围相差很大时，可能会导致梯度下降运行缓慢，但是通过对不同特征进行重新缩放，使它们都取值在可以比较的范围内，可以显著加快梯度下降的速度。从以上两个例子可以得出一个结论：特征数值取值范围越大的，一个好的模型更有1可能取数值较小的参数；特征数值取值范围越小，则更可能取数值较大的参数。如何使用特征缩放，将取值范围非常不同的特征缩放到具有可比范围的值？缩放后得到的取值范围是。
2025-08-08 23:01:04
784
原创 机器学习 梯度下降
假设有一个代价函数，为了实现模型的预测结果能够尽可能地接近真实情况就要使其值变得最小，我们可以使用梯度下降来进行对模型参数的调整从而找到使函数最小的参数。梯度下降是一种可以用来尝试最小化任何函数的算法，不仅仅是一个线性回归的代价函数。它更适用于更一般的函数，包括与其他具有两个以上参数的模型一起工作的其他代价函数。假如有一个代价函数，我们的目标是通过由到和这些参数来使最小化。梯度下降就是可以用来尝试这些参数的算法。使用梯度下降算法时，我们需要每次都稍微改变参数和用来尝试逐步减少。
2025-07-30 21:02:24
845
原创 机器学习 代价函数
为了实现线性回归，第一个关键步骤就是首先定义一个叫代价函数的东西。代价函数会告诉我们模型的表现如何，以便于我们可以让模型表现得更好。1416以上是一个包含的数据集，假如我们使用的模型是，其中和被称为模型的参数。在机器学习的训练过程中，模型的参数是可以调整的。和也被称作系数或权重。回到本文章中的第一句话，为了实现线性回归，我们要为参数和选择合适的值从而使函数的图像能够很好地拟合数据，例如下图。图中的一个X对应的是预测值，当情况下在直线上是对应的点是预测值。
2025-07-28 18:08:59
428
原创 机器学习 性能度量
该文章内容旨在通过机器学习课程进行读书笔记以提高对课程内容的理解。以下部分图片及文字内容来源于：《机器学习》（周志华，清华大学出版社）《机器学习初步（2025春）》、《机器学习进步（2025春）》——学堂在线APP。
2025-05-10 21:49:05
1639
原创 机器学习 评估方法
该文章内容旨在通过机器学习课程进行读书笔记以提高对课程内容的理解。以下部分图片及文字内容来源于：《机器学习》（周志华，清华大学出版社）
2025-05-01 18:59:40
859
原创 线性回归模型，经验误差与过拟合
该文章内容旨在通过机器学习课程进行读书笔记以提高对课程内容的理解。《机器学习》（周志华，清华大学出版社）本周学习了［吴恩达机器学习］视频当中关于“线性回归模型”的章节以及《机器学习》（周志华，清华大学出版社）第二章的“经验误差与过拟合”和“评估方法”。
2025-04-23 13:03:04
1353
原创 机器学习的定义及主要类型
以下是人工智能领域先驱Arthur Samuel对机器学习的定义：（让计算机在没有完整编程的情况下有能力学习的研究领域。Arthur Samuel在研究学习的过程中，给一台电脑编了一个能自娱自乐的西洋跳棋程序，这个程序在不断地进行下棋游戏的过程中，也在逐步学习什么样的位置对自己取得胜利有利，什么位置会让自己输。久而久之，这个程序越来越擅长下跳棋。视频中，吴恩达老师提出了一个问题：（如果跳棋程序只被允许下十盘棋（而不是数万盘），下棋数量如此之少，这会对他的表现产生什么样的影响？○变现得更好。
2025-04-16 13:55:47
1784
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人