蓬某某的博客

1. 支持向量机1.1. 从logistic回归到支持向量机logistic回归模型：min⁡θ1m[∑i=1my(i)(−loghθ(x(i)))+(1−y(i))(−log(1−hθ(x(i))))]+λ2m∑j=1nθj2\min_{\theta} \frac{1}{m}\left [ \sum_{i=1}^{m}y^{(i)}(-logh_{\theta}(x^{(i)}))+(1...

1. 数据集分类数据集分为训练集（training set），交叉验证集（cross validation set），测试集（test set）。比例为60:20:20。使用训练集对模型进行训练，得到使训练集误差Jtrain(θ)J_{train}(\theta)Jtrain​(θ)最小的一系列参数θ\thetaθ，然后代入验证集，得到使验证集误差Jcv(θ)J_{cv}(\theta)Jcv...

1. 神经网络输入[x1,x2,...,xn][x_1, x_2,...,x_n][x1​,x2​,...,xn​]，输出[y1,y2,...,yk][y_1, y_2,...,y_k][y1​,y2​,...,yk​]。当输出分类k>2k>2k>2时，使用[10...0],[01...0],[0...10],[00...1]\begin{bmatrix}1\\0\\.....

返回目录运用批量梯度下降法(BGD)，每次迭代需要对所有训练集进行运算。随机梯度下降法(SGD)则每次只对一次数据集进行运算。代价函数：J(θ⃗)=12m∑i=1i=m(θ⃗Tx⃗(i)−y(i))2J(\vec{\theta})=\frac{1}{2m}\sum_{i=1}^{i=m}( \vec{\theta}^T\vec{x}^{(i)}-y^{(i)})^2J(θ)=2m1​i=...

返回目录当特征量过少时，会出现欠拟合。即训练数据不能进行较好的拟合。当特征量过多时，会出现过拟合。即训练数据能很好的拟合，但测试数据不能进行较好的拟合。针对过拟合，需要在代价函数上加上惩罚项，模型复杂度越大，惩罚项越大。1. 线性回归正则化代价函数：J(θ)=12m∑i=1i=m(h(x(i))−y(i))2+β∑i=1i=nθi2J( \pmb{\theta}) = \frac{1...

返回目录输出为包含多个值的离散序列。y∈{s1,s2,...,sK}y\in \{ s_1, s_2, ..., s_K \} y∈{s1​,s2​,...,sK​}其中：K为输出样本不同值的个数。1.转化为多个二元分类。将预测值yyy进行以下映射，可划分为KKK组：zk={1(y=sk)0(y≠sk)z_k=\begin{cases}1& (y = s_k) \...

返回目录预测值为0或者1的离散序列。将x\pmb xxxx映射成0或者1，使用sigmoid函数进行模拟。假设函数：h(x)=11+e−θTxh(\pmb{x}) =\frac{1}{ 1+e^{ -\pmb{\theta}^T\pmb{x}}}h(xxx)=1+e−θθθTxxx1​其中：x=[x0,x1,...,xn]T∈R(n+1)×1θ=[θ0,θ1,...,θn]T∈R...

返回目录预测值为一系列连续的值假设函数：h(x)=θTxh(\pmb{x}) = \pmb{\theta}^T\pmb{x}h(xxx)=θθθTxxx其中：x=[x0,x1,...,xn]T∈R(n+1)×1θ=[θ0,θ1,...,θn]T∈R(n+1)×1（n为特征个数）\begin{aligned}\pmb{x}=[x_0, x_1, ...,x_n]^T\in\math...

返回目录预测值为一系列连续的值假设函数：h(x)=θTxh(\pmb{x}) = \pmb{\theta}^T\pmb{x}h(xxx)=θθθTxxx其中：x=[x0,x1,...,xn]T∈R(n+1)×1θ=[θ0,θ1,...,θn]T∈R(n+1)×1（n为特征个数）\begin{aligned}\pmb{x}=[x_0, x_1, ...,x_n]^T\in\math...

线性回归公式法推导线性回归梯度下降法推导逻辑斯蒂回归法二元分类逻辑斯蒂回归法多元分类