Cost Function

最新推荐文章于 2025-12-16 16:32:45 发布
转载 最新推荐文章于 2025-12-16 16:32:45 发布 · 169 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.coursera.org/learn/machine-learning/supplement/nhzyF/cost-function
文章标签：

#深度学习 #机器学习

本文介绍了如何通过平方误差函数（均方误差）衡量假设函数准确性，重点讲解了J(θ0,θ1)的计算公式，并阐述了它在预测值与实际值差异中的作用。此外，我们讨论了平方误差函数在梯度下降算法中的便利性，以及其在机器学习中的广泛应用。

数据集分布

We can measure the accuracy of our hypothesis function by using a cost function. This takes an average difference (actually a fancier version of an average) of all the results of the hypothesis with inputs from x’s and the actual output y’s.

J(θ0,θ1)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2J(\theta_0, \theta_1)= \dfrac {1}{2m} \displaystyle \sum _{i=1}^m \left ( \hat{y}_{i}- y_{i} \right)^2 = \dfrac {1}{2m} \displaystyle \sum _{i=1}^m \left (h_\theta (x_{i}) - y_{i} \right)^2J(θ0​,θ1​)=2m1​i=1∑m​(y^​i​−yi​)2=2m1​i=1∑m​(hθ​(xi​)−yi​)2

To break it apart, it is 12xˉ\frac{1}{2} \bar{x}21​xˉ where $ \bar{x}$ is the mean of the squares of hθ(xi)−yih_\theta (x_{i}) - y_{i}hθ​(xi​)−yi​ , or the difference between the predicted value and the actual value.

This function is otherwise called the “Squared error function”-平方误差函数, or “Mean squared error”-均方误差. The mean is halved (12)\left(\frac{1}{2}\right)(21​) as a convenience for the computation of the gradient descent, as the derivative term of the square function will cancel out the 12\frac{1}{2}21​ term. The following image summarizes what the cost function does:

平方差函数

Optional Lab: Cost Function(Squared Error Cost Function)
gravity_w的博客
12-17 1157
吴恩达机器学习optional lab cost_function_soln
Loss function和Cost function的区别
qq_44722189的博客
12-03 885
则是计算单个样本预测误差的度量。在训练过程中，通过不断调整模型参数，目标是最小化。的值，从而使模型在整个数据集上的预测误差最小化。都是用来度量模型预测结果和实际结果之间的差距。的目的是最小化整个数据集上的误差。看作是对模型在整个数据集上的性能评估，而。值相加，并取平均值得到的总体误差度量，是针对整个数据集的预测误差的度量。是针对单个样本的预测误差的度量。
代价函数
智障儿童欢乐多
11-10 434
一、机器学习Machine Learning：cost 函数，loss函数，objective函数 The loss function computes the error for a single training example; the cost function is the average of the loss funcitons of the entire training set....
吴恩达机器学习笔记三（Machine learning algorithms--Cost function）
weixin_43294620的博客
01-09 624
Cost function We need to remember this： 1、Understand the cost function In order to simplify: Use hθ(x)=θ1xh_\theta(x)=\theta_1xhθ​(x)=θ1​x Each value of theta one corresponds to a different hypothesis(不同的θ1\theta_1θ1​对应不同的假设函数) .And for each value of thet
机器学习_2、cost function 成本函数
cfy2401926342的博客
03-21 1229
cost function 成本函数 cost function-成本函数 1、目标 ：实现和探索具有一个变量的线性回归的成本函数。 import numpy as np %matplotlib widget import matplotlib.pyplot as plt from lab_utils_uni import plt_intuition, plt_stationary, plt_...
代价函数 cost function
大脑袋剑客
08-03 2851
代价函数在监督学习的回归问题中，代价函数就是用于找到最优解的目的函数，反应了预测函数的准确性。代价函数的值越小，说明在回归问题的中，计算机程序对数据拟合的越好。也就是假设函数越正确。比如，对于这个假设函数（可以看成是求房价的假设函数）: 代价函数是： 也就是 预测值与真实值的差的平方和，再除以2m（2倍样本数量）。在假设函数中：θ0和θ1两个参数，不同的参数会有不同的假设函数 如下图
机器学习Machine Learning：成本（cost） 函数，损失（loss）函数，目标（Objective）函数的区别和联系？
Damion
04-22 9598
机器学习Machine Learning：cost 函数，loss函数，objective函数的区别和联系？ 关于这个问题，我也是机器学习初学者，对于这些概念感觉有必要追根究底。 不同笔者有不同的见解，通过搜集一些相关笔者的回答和个人的理解，我整理了材料如下： 首先在Andrew NG的Coursera：Neural Networks and Deep Learning 课程中，有如下一...
ccostfuncn.rar_cost calculation_cost function
07-15
首先，成本函数（Cost Function）是一个数学表达式或函数，它描述了某个决策变量或一组变量如何影响总成本。在计算中，我们通常用C表示成本函数，而x代表输入变量。例如，C(x) = x^2表示成本与输入成平方关系。这个...
Ceres学习笔记建模篇001_代价函数基类CostFunction及其派生类SizedCostFunction介绍
wangchenxue的博客
12-29 2804
Ceres学习笔记建模篇001_代价函数基类CostFunction及其派生类SizedCostFunction介绍
吴恩达机器学习Cost Function成本函数实验补充材料
10-21
吴恩达在机器学习领域享有盛誉，他所开发的课程广受全球学习者欢迎。成本函数是机器学习中的一个重要概念，它用于衡量算法的预测值与真实值之间的差异。在吴恩达机器学习课程中，成本函数的讲解和实验练习是帮助学生...
两分钟快速理解成本函数（cost function）
热门推荐
fuhuo_的博客
11-03 2万+
对成本函数（cost function）的理解 成本函数是用以衡量假设函数h(x)准确性的工具。 直接上公式， 是不是有种熟悉感，最小二乘法，没错，对比理解一下就好了。该函数也被称为“平方误差函数”或“均方误差”。借用一张吴恩达机器学习的图片： 因此，我们应尽量减少成本函数，使散射点与该线的平均垂直垂直距离最小。 最后贴成本函数的图片： 上图是成本函数J(θ1)与单个变量的关系，显然我们取其最小值，当θ1=1时。 上图是成本函数J(θ1,θ2)与两个变量的关系，当然我们也可以得到一个最小值。（多维变
梯度下降公式理解（为什么使用cost function的导数？）
大王叫我来学习
07-26 3492
在gradient descent 梯度下降公式中，一般的表达都是如下： ​ 论坛链接：为什么用这个公式
Cost function
niukai1768的专栏
05-22 3201
cost function的形式 cost function的推导满足以下过程： 1. 认为error 满足某个分布，写出样本点xi的样本的error 2. 认为样本点是相互独立的，推导出其对数似然函数 3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式 e.g. 线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linea...
深度学习笔记（四） cost function来源和证明
chenfenggang的专栏
08-25 3400
1）什么是代价函数 WIKI的解释： Cost function In economics, the cost curve, expressing production costs in terms of the amount produced.In mathematical optimization, the loss function, a function
【文献阅读】DP-Site：一种基于双重深度学习的蛋白质-肽相互作用位点预测方法
weixin_42038527的博客
12-16 676
研究团队开发了一款名为DP-Site的AI工具，仅需分析蛋白质的氨基酸序列（“设计图”），就能精准锁定小分子药物的潜在“靶点”。DP-Site的核心创新在于其 “双专家会诊”模式。一位是“图像专家”，擅长分析序列的局部结构特征；另一位是“语义专家”，擅长理解序列的全局上下文信息。两者协同工作，使其预测综合性能（F1分数）达到0.661，超越此前所有方法。
【CNN与卷积神经网络（吴恩达）】卷积神经网络学习笔记
qq_62361050的博客
12-12 1047
池化层类似卷积运算，在这里举一个最大池化的例子，即在一个4x4的图像中采用一个2x2的核，这个《核》只是对对应区域进行取最大值计算，以步长为2进行移动计算，在每次计算中取区域中的最大值，这样就可以提取出图像中的最显著的特征。以下是对于三维卷积中一些尺寸数据的描述，和二维卷积相似，只不过在n x n后面新加了一个尺寸数据nc，这个nc即表示图像的通道数，剩余对于输出图像的尺寸的计算公式和二维卷积下的一模一样。这种卷积下的卷积核和二维卷积是一样的，只不过由于有三个图像矩阵，所以应该对应有三层卷积核，即。
基于深度学习的肾结石检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
最新发布
ningfoshao8678的博客
12-16 688
本文介绍了基于YOLO目标检测算法开发的肾结石检测系统。该系统支持图片、视频、文件夹批量及摄像头实时检测，包含用户登录、多模型切换等功能。技术栈采用Python3.10、PyQt5和SQLite，对比了YOLOv5/v8/v11/v12四种模型性能，其中YOLO12n精度最高(mAP40.6%)，YOLO11n速度最快(56.1ms)。系统在17000张肾脏影像数据集上训练，mAP@0.5达90%，F1值0.86，能有效识别肾结石位置并显示置信度。
深度学习理论与实战：反向传播、参数初始化与优化算法全解析
2501_92613722的博客
12-16 768
深度学习训练核心闭环：精准算梯度、合理初始化参数、高效更参数 反向传播：链式求导为基，从损失反向回溯算梯度，附 Sigmoid 实例 参数初始化：讲手动 / 经典方法，Module 初始化技巧与核心原则、选择 优化算法：SGD 为基，动量法 / Adagrad/RMSProp/Adadelta/Adam 解析与对比 核心总结：反向传播、初始化、优化算法要点及训练细节
cost function
07-19
<think>我们正在讨论机器学习与优化中的成本函数（cost function）。成本函数是机器学习模型训练的核心，它衡量模型预测值与真实值之间的差异，并通过优化算法（如梯度下降）来最小化这个差异，从而训练出最优模型参数。 ### 1. 成本函数的定义 在机器学习中，成本函数（也称为损失函数或目标函数）是一个将模型预测值与真实值之间的差异量化为单个实值的函数。给定一个模型 $f(\mathbf{x}; \theta)$，其中 $\theta$ 表示模型参数，成本函数 $J(\theta)$ 定义为： $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} L\left(y^{(i)}, f(\mathbf{x}^{(i)}; \theta)\right)$$ 其中： - $m$ 是训练样本数量 - $L$ 是损失函数，计算单个样本的误差 - $y^{(i)}$ 是第 $i$ 个样本的真实标签 - $\mathbf{x}^{(i)}$ 是第 $i$ 个样本的特征向量 ### 2. 常见的损失函数 #### 2.1 回归问题 - **均方误差（MSE）**： $$L(y, \hat{y}) = (y - \hat{y})^2$$ 对应的成本函数为： $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} \left(y^{(i)} - f(\mathbf{x}^{(i)}; \theta)\right)^2$$ - **平均绝对误差（MAE）**： $$L(y, \hat{y}) = |y - \hat{y}|$$ $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} \left| y^{(i)} - f(\mathbf{x}^{(i)}; \theta) \right|$$ #### 2.2 分类问题 - **交叉熵损失（Cross-Entropy Loss）**： 对于二分类问题（使用sigmoid激活函数）： $$L(y, \hat{y}) = - \left[ y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}) \right]$$ 其中 $\hat{y}$ 是模型预测的概率值（$0 \leq \hat{y} \leq 1$）。 对于多分类问题（使用softmax激活函数）： $$L(y, \hat{y}) = - \sum_{c=1}^{C} y_c \log(\hat{y}_c)$$ 其中 $C$ 是类别数，$y_c$ 是真实标签的one-hot表示（如果样本属于类别 $c$ 则为1，否则为0），$\hat{y}_c$ 是模型预测样本属于类别 $c$ 的概率。 - **铰链损失（Hinge Loss）**： 常用于支持向量机（SVM）： $$L(y, \hat{y}) = \max(0, 1 - y \cdot \hat{y})$$ 其中 $y \in \{-1, 1\}$，$\hat{y}$ 是模型预测的未经过概率化的分数（即决策函数的输出）。 ### 3. 成本函数在优化中的作用 在模型训练过程中，优化算法（如梯度下降）通过计算成本函数关于参数 $\theta$ 的梯度，并沿梯度反方向更新参数，以最小化成本函数： $$\theta := \theta - \alpha \nabla_\theta J(\theta)$$ 其中 $\alpha$ 是学习率。 ### 4. 正则化 为了防止过拟合，常在成本函数中加入正则化项： - **L2正则化（Ridge）**： $$J(\theta) = J_0(\theta) + \lambda \sum_{j=1}^{n} \theta_j^2$$ 其中 $J_0(\theta)$ 是原始成本函数，$\lambda$ 是正则化系数。 - **L1正则化（Lasso）**： $$J(\theta) = J_0(\theta) + \lambda \sum_{j=1}^{n} |\theta_j|$$ ### 5. 代码示例：线性回归的成本函数（MSE） 以下是一个使用均方误差作为成本函数的线性回归示例（Python）： ```python import numpy as np # 定义均方误差成本函数 def cost_function(X, y, theta): m = len(y) predictions = X.dot(theta) # 计算预测值 error = predictions - y cost = (1/(2*m)) * np.sum(error**2) # MSE (注意这里乘以1/(2m)是为了后续梯度计算方便，不影响优化结果) return cost # 梯度下降 def gradient_descent(X, y, theta, alpha, iterations): m = len(y) cost_history = np.zeros(iterations) for i in range(iterations): predictions = X.dot(theta) errors = predictions - y # 计算梯度 gradient = (1/m) * X.T.dot(errors) # 更新参数 theta = theta - alpha * gradient cost_history[i] = cost_function(X, y, theta) return theta, cost_history # 示例数据 X = np.array([[1, 1], [1, 2], [1, 3]]) # 添加偏置列 y = np.array([1, 2, 3]) theta = np.array([0, 0]) # 初始参数 # 运行梯度下降 theta_opt, cost_hist = gradient_descent(X, y, theta, alpha=0.1, iterations=100) print("优化后的参数:", theta_opt) ``` ### 6. 成本函数的选择 选择成本函数时需考虑： - 问题类型（回归、分类） - 模型类型（线性模型、神经网络等） - 异常值敏感性（如MSE对异常值敏感，MAE相对鲁棒） - 优化难度（如交叉熵损失在逻辑回归中通常比平方误差更有效） ### 7. 总结 成本函数是机器学习模型训练的核心，它指导模型参数的学习方向。理解不同成本函数的特性以及它们在优化过程中的行为，对于构建高效、准确的机器学习模型至关重要。 §§ 相关问题 §§ 1. 如何选择适合的损失函数？ 2. 梯度下降算法有哪些变体？ 3. 正则化是如何防止过拟合的？ 4. 成本函数与模型评估指标有何区别？</think>### 成本函数（Cost Function）详解 成本函数（也称损失函数）是机器学习和优化问题的核心概念，用于量化模型预测值与真实值之间的误差。其数学定义为： $$J(\theta) = \frac{1}{m} \sum_{i=1}^{m} L(h_\theta(x^{(i)}), y^{(i)})$$ 其中： - $J(\theta)$ 是参数 $\theta$ 的成本函数 - $m$ 是训练样本数量 - $h_\theta(x)$ 是模型预测函数 - $L$ 是单个样本的损失函数 #### 一、常见损失函数类型 1. **回归问题**： - **均方误差（MSE）**： $$L(y, \hat{y}) = (y - \hat{y})^2$$ 梯度计算：$\frac{\partial J}{\partial \theta_j} = \frac{2}{m} \sum (\hat{y}_i - y_i)x_j^{(i)}$ - **平均绝对误差（MAE）**： $$L(y, \hat{y}) = |y - \hat{y}|$$ 2. **分类问题**： - **交叉熵损失（Cross-Entropy）**： $$L(y, \hat{y}) = -[y \log(\hat{y}) + (1-y)\log(1-\hat{y})]$$ 适用于逻辑回归和神经网络 - **铰链损失（Hinge Loss）**： $$L(y, \hat{y}) = \max(0, 1 - y \cdot \hat{y})$$ 用于支持向量机（SVM） 3. **正则化项**（防止过拟合）： - L2正则化：$\frac{\lambda}{2m} \sum_{j=1}^{n} \theta_j^2$ - L1正则化：$\frac{\lambda}{m} \sum_{j=1}^{n} |\theta_j|$ #### 二、优化方法 通过梯度下降最小化成本函数： $$\theta_j := \theta_j - \alpha \frac{\partial J(\theta)}{\partial \theta_j}$$ 其中 $\alpha$ 为学习率，迭代更新直至收敛。 **代码示例**（线性回归的MSE实现）： ```python import numpy as np def cost_function(X, y, theta): """ 计算均方误差成本函数 X: 特征矩阵 (m x n) y: 标签向量 (m x 1) theta: 参数向量 (n x 1) """ m = len(y) predictions = X.dot(theta) error = predictions - y cost = (1/(2*m)) * np.sum(error**2) # MSE公式 return cost def gradient_descent(X, y, theta, alpha, iterations): """ 梯度下降优化 alpha: 学习率 iterations: 迭代次数 """ m = len(y) cost_history = [] for _ in range(iterations): predictions = X.dot(theta) errors = predictions - y gradient = (1/m) * X.T.dot(errors) theta = theta - alpha * gradient cost_history.append(cost_function(X, y, theta)) return theta, cost_history ``` #### 三、关键特性 1. **凸函数性质**：如MSE是凸函数，保证梯度下降能找到全局最优解 2. **损失函数选择依据**： - MSE对异常值敏感 - MAE更鲁棒但梯度不平滑 - 交叉熵提供概率解释 3. **正则化影响**： - L2（岭回归）使参数趋近于零但不为零 - L1（Lasso）可产生稀疏解（部分参数归零） #### 四、应用场景 1. 模型训练：指导参数更新方向 2. 模型诊断：过拟合时训练损失<<验证损失 3. 超参数调优：如正则化系数 $\lambda$ 的选择 > 机器学习模型通过最小化成本函数来学习数据中的模式，这是监督学习的核心机制[^1]。成本函数的设计直接影响模型性能和泛化能力，需结合具体任务特性选择[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值