【机器学习】机器学习的基本分类-监督学习-逻辑回归-对数似然损失函数（Log-Likelihood Loss Function）

对数似然损失函数（Log-Likelihood Loss Function）

对数似然损失函数是机器学习和统计学中广泛使用的一种损失函数，特别是在分类问题（例如逻辑回归、神经网络）中应用最为广泛。它基于最大似然估计原理，通过最小化负对数似然（negative log-likelihood, NLL）来优化模型参数。

---

1. 对数似然损失的定义

对于一个分类问题，我们的目标是预测输入 x 属于类别 y∈{0,1} 的概率。假设模型输出的概率为 ​，则：

对数似然函数

似然函数衡量模型参数在观察到数据下的概率。假设数据集为 ​，样本 i 的预测概率为 ，其似然函数为：

对数似然函数

对数化简乘积：

---

 

2. 损失函数形式

为了简化计算ÿ