机器学习心得（四）

---

前言

逻辑回归

---

一、分类问题（Classification）

分类问题是监督学习的主要类型，主要分为二分类和多分类问题。

• 二分类问题：我们先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次步骤：①$\to$②
  

• 多分类问题：我们先定义其中一类为类型1，其它的数据为负类；然后我们类型1去除，剩下其他，其他部分再次进行二分类，分成类型2和负类；如果有𝑛类，那就需要分类𝑛-1 次步骤：①$\to$②$\to$③$\to$……，总的来说就是不断的进行二分类。
  

---

二、Sigmoid函数

Sigmoid函数(logistic function)：我们用$g(z)$来表示函数，$g(z)=\frac{1}{1+e^{-z}}$，$z=w^{T}x+b$，函数图像如下所示：

---

三、逻辑回归求解

假设现在有一个二分类问题,$p(y=1|x;w)=h(x)$表示第一类，$p(y=0|x;w)=1-h(x)$表示第二类，则合起来的通式为$p(y|x;w)=(h(x){)}^y(1-h(x){)}^{1-y}$。在这引入一个公式$g{}^{\prime }(z)=g(z)(1-g(z))$，求解很简单，就是把$g(z)=\frac{1}{1+e^{-z}}$带入求导。

1. 损失函数
   

2. 代价函数：为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚。
   

3. 求解过程：
   
   

总结

本人也才刚刚开始学习，请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数