前言
逻辑回归
一、分类问题(Classification)
分类问题是监督学习的主要类型,主要分为二分类和多分类问题。
-
二分类问题:我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次步骤:① → \rightarrow →②
-
多分类问题:我们先定义其中一类为类型1,其它的数据为负类;然后我们类型1去除,剩下其他,其他部分再次进行二分类,分成类型2和负类;如果有𝑛类,那就需要分类𝑛-1 次步骤:① → \rightarrow →② → \rightarrow →③ → \rightarrow →……,总的来说就是不断的进行二分类。
二、Sigmoid函数
Sigmoid函数(logistic function):我们用
g
(
z
)
g(z)
g(z)来表示函数,
g
(
z
)
=
1
1
+
e
−
z
g(z)=\frac{1}{1+e^{-z}}
g(z)=1+e−z1,
z
=
w
T
x
+
b
z=w^{T}x+b
z=wTx+b,函数图像如下所示:
三、逻辑回归求解
假设现在有一个二分类问题, p ( y = 1 ∣ x ; w ) = h ( x ) p(y=1|x;w)=h(x) p(y=1∣x;w)=h(x)表示第一类, p ( y = 0 ∣ x ; w ) = 1 − h ( x ) p(y=0|x;w)=1-h(x) p(y=0∣x;w)=1−h(x)表示第二类,则合起来的通式为 p ( y ∣ x ; w ) = ( h ( x ) ) y ( 1 − h ( x ) ) 1 − y p(y|x;w)=(h(x))^{y}(1-h(x))^{1-y} p(y∣x;w)=(h(x))y(1−h(x))1−y。在这引入一个公式 g ′ ( z ) = g ( z ) ( 1 − g ( z ) ) g{}'(z)=g(z)(1-g(z)) g′(z)=g(z)(1−g(z)),求解很简单,就是把 g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1带入求导。
-
损失函数
-
代价函数:为了衡量算法在全部训练样本上的表现如何,我们需要定义一个算法的代价函数,算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚。
-
求解过程:
总结
本人也才刚刚开始学习,请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数