关于二元Logistics回归的损失函数的推导的问题

作者从知乎搬运一个有意思的机器学习相关问题,并进行记录。虽未给出具体问题描述与回答内容,但围绕机器学习展开。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在知乎看到一个很有意思的问题,搬运给大家,顺便记录一下
问题描述:
在这里插入图片描述
在这里插入图片描述
回答问题:
在这里插入图片描述
在这里插入图片描述

### 关于逻辑回归损失函数的数学推导 逻辑回归是一种广泛应用于分类问题的统计方法,在二元逻辑回归中,目标变量遵循伯努利分布[^4]。对于给定的数据集 \( (x_i, y_i) \),其中 \( x_i \) 是输入特征向量而 \( y_i \in {0, 1} \) 表示类别标签。 #### 模型假设 设模型的概率估计为: \[ h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}} \] 这里 \( h_\theta(x) \) 给出了当输入为 \( x \) 时属于正类(\(y=1\))的可能性;相应地,不属于该类别的概率则为 \( 1-h_\theta(x) \)。 #### 构建似然函数 基于上述定义,可以构建单个样本的最大似然贡献项: 如果 \( y=1 \), 则似然贡献为 \( P(y|x;\theta)=h_\theta(x)\) 如果 \( y=0 \), 则似然贡献为 \( P(y|x;\theta)=1-h_\theta(x)\) 综合两种情况可得一般表达式: \[ P(y|x;θ)=(h_θ(x))^y(1−h_θ(x))^{(1−y)} \][^4] 考虑到整个训练集中有多个独立同分布的观测值,则联合概率等于各个单独事件发生的乘积。为了简化计算并转换成加法运算,取自然对数得到对数似然函数 LLF(Log-Likelihood Function): \[ LLF=\sum_{i=1}^{m}[y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_\theta(x_i))] \][^4] #### 定义成本/损失函数 为了让优化算法能够最小化而非最大化某个数值,通常会将负对数似然作为代价或损失函数 J(\(\theta\)) : \[ J(\theta)=-LLF=-\left[\sum_{i=1}^{m}\left[y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_\theta(x_i))\right]\right] \] 此即为常用的交叉熵损失函数 Cross Entropy Loss 的具体形式之一——适用于二分类任务下的版本。 通过梯度下降或其他最优化技术调整权重参数使得这个平均误差尽可能小,从而实现更好的预测性能[^3]。 ```python import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def compute_cost(X, y, theta): m = len(y) predictions = sigmoid(np.dot(X, theta)) cost_class1 = -y * np.log(predictions) cost_class0 = -(1 - y) * np.log(1 - predictions) total_cost = sum(cost_class1 + cost_class0)/m return total_cost ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值