wgc2k的博客

通过惩罚模型参数（权重）的大小，迫使模型学习更简单的特征组合，减少过拟合。

1. 批量梯度下降（BGD）- 使用全部样本计算梯度 - 优点：收敛稳定 - 缺点：计算量大，内存占用高2. 随机梯度下降（SGD）- 每次随机选取一个样本更新参数- 优点：计算速度快- 缺点：梯度波动大，可能无法收敛到全局最优3. 小批量梯度下降（Mini-Batch GD）- 每次使用一小批样本（如32-256个）- 平衡计算效率和收敛稳定性逻辑回归的梯度下降通过最小化对数损失函数，迭代调整参数，使模型预测概率与真实标签尽可能接近。

损失函数是对概率的误差平均值描述。数学简洁性：避免了分段讨论，便于代码实现。将两种分类情况统一为单一表达式，降低了实现复杂度。凸性保证：代价函数为凸函数，梯度下降可收敛到全局最优解。确保了梯度下降的有效性，避免局部极小值问题。统计依据：该代价函数基于最大似然估计推导，符合统计学原理。

逻辑回归的决策边界是模型对样本进行分类的分界线，其形状和位置由模型参数决定。决策边界是将输入空间划分为不同类别区域的分界线。在逻辑回归中，当模型预测样本属于正类（1）的概率时，样本被归为正类；反之则归为负类（0）。因此，决策边界对应的位置。决策边界是逻辑回归模型的核心，其形式由特征和参数共同决定。线性边界简单高效，非线性边界通过特征变换实现，但需注意模型复杂度控制。理解决策边界有助于直观解释模型行为，指导特征选择和调参。逻辑回归通过线性模型+非线性激活函数实现分类功能 -

逻辑回归（Logistic Regression）是一种用于解决分类问题的统计学习方法，尤其适用于二分类任务。尽管名称中包含“回归”，但它实际上是一种分类模型。逻辑回归是一种经典的分类模型，其核心在于将线性回归与概率转换结合，适用于二分类和可解释性要求高的场景。尽管存在一定局限性，但其简单性和高效性使其成为实际应用中的常用工具。

梯度下降是多元线性回归的主流优化方法，具有普适性和可扩展性，而标准方程法适用于特定场景。实际应用中需结合特征工程和参数调优提升模型性能。本篇不复盘参数调优。梯度下降是一种简单而有效的优化算法，通过不断更新参数来最小化代价函数。在多元线性回归中，我们可以使用梯度下降来寻找最优的权重和偏置。需要注意的是，学习率的选择对算法的收敛性和性能有重要影响，需要进行适当的调整。简要核心过程是以下部分使用向量符号将多元线性回归模型简化为其中是特征权重向量，是特征向量，是偏置项。梯度下降更新规则代价函数对。

假设我们有个观测数据点，其中表示第个观测值的第个自变量，表示第个观测值的因变量。多参数线性回归模型的一般形式为：其中，是待估计的参数，称为截距项，称为回归系数，是随机误差项，通常假定独立同分布，且服从均值为，方差为的正态分布，即。这一节提前代入了很多后面的公式，只是为了有个大概印象，梯度函数，最小函数后面会进一步讲解。总的来说：模型由单特征的变为多特征形式，（为基本价格，表示对应特征对价格的影响）。一般地，若有个特征，模型为。然后将模型简化。将参数。

梯度下降（Gradient Descent）是一种常用的优化算法，广泛应用于机器学习、深度学习等领域，在这里是用于求J（w,b）局部最小值。我自己觉得这样说有点过于抽象。换个直观点的说法就是，一个人站在了一座小土包上，这个人要去找周围的最低点，求这个局部最低点的数学过程，就是这个梯度下降算法。

只讲了线性回归的代价函数。均方误差（MSE）基于最小二乘法，通过计算预测值与真实值之间差值的平方的平均值来衡量模型的误差。

是用一条直线拟合数据的模型，是当今比较常用的学习模型。

Jupyter现在是数据科学、机器学习等领域中不可或缺的工具。笔者也一直使用这个工具。主要的免费在线网站列在下面，笔者自己常用的是天翼云和科赛网的工具站。天池的也很好，但只有三个月的免费时间。

监督学习和无监督学习。监督学习是机器学习中创造了 99% 经济价值的类型，它是学习输入到输出映射的算法，关键在于给学习算法提供包含正确答案（即给定输入 X 的正确标签 Y）的学习例子。分类算法是监督学习算法的一种。以乳腺癌检测为例，利用病人医疗记录，机器学习系统要判断肿块是良性（标记为 0）还是恶性（标记为 1），可将数据按肿瘤大小和标记（0 或 1）绘制图表。监督学习的两种主要类型是回归和分类，回归从无限多个可能输出数中预测数字（如预测房价），分类对有限的可能输出类别集合进行预测，

课程不仅教授学习算法，还会提供应用学习算法的实用建议，因为掌握工具且知道如何有效使用很重要。通过实际案例说明，即便顶级公司的机器学习团队有时也会因方法不当而进展不顺，课程会传授开发实用有价值的机器学习系统的最佳实践，让学员了解熟练工程师构建系统的方式，希望学员学完后能具备构建系统的能力。机器学习主要有监督学习和无监督学习两种类型，监督学习在现实世界应用多且进步创新快，原因有三（后续视频会详细解释），还提到了强化学习，但最常用的是监督学习和无监督学习，课程会重点讨论它们。