Confidence Linear Classification

helloworld987456

于 2020-05-01 16:30:38 发布

阅读量237

点赞数

CC 4.0 BY-SA版权

分类专栏： linear classification 文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/helloworld987456/article/details/105878934

linear classification 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种新的线性分类方法——信心加权线性分类。不同于传统的线性分类模型，该方法不仅考虑了参数的估计，还加入了对参数置信度的考量。在线学习的环境下，该算法同时更新分类器参数及其置信度估计，维持参数向量的高斯分布，并随着每个实例的出现更新分布的均值和协方差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本质上还是一种linear classifcation，但是非常有意思的一点是，对于绝大多线性分类模型，我们都是先有了参数，然后再去计算参数的方差。一般来讲，参数的方差都是和模型的参数相关的，会有一个公式来描述这二者的关系。

但是在这个模型里，我们假设线性分类模型的参数，服从一个正态分布，却并没有用一个公式来描述均值与方差之间的关系。在普通的linear classifcation里，我们做最优化的objective function一般都是loss function，但是在confidence linear classifcation里，我们最优化的是两个模型之间的距离。

这online learning的一种。

Abstract: We introduce confidence-weighted linear classifiers, which add parameter confidence information to linear classifiers. Online learners in this setting update both classifier parameters and the estimate of their confidence. The particular online algorithms we study here maintain a Gaussian distribution over parameter vectors and update the mean and covariance of the distribution with each instance.

文献：Confidence-Weighted Linear Classification by Dredze at al.