qq_54434938的博客

文章目录前言1. 判别模型和生成模型2. 高斯判别分析模型3. 参数估计4. 代码实现前言这篇文章总结一个生成模型——高斯判别分析。1. 判别模型和生成模型​在监督学习中，模型训练成功后，我们往往会得到一个决策函数 f(x)f(x)f(x) 或者一个概率分布 P(y∣x)P(y|x)P(y∣x) ，当需要预测时，我们通过给定的 xxx ，使用 f(x)f(x)f(x) 作为 yyy 的预测值或者使用 P(y∣x)P(y|x)P(y∣x) 计算出概率。​在之前总结的线性回归、逻辑回归等模型都是判

文章目录前言1. 一个例子2. 多项式回归模型3. 代码实现前言这篇文章介绍多项式回归。1. 一个例子​线性回归可以很好地拟合线性分布的数据，但是对于非线性的数据却派不上用场，例如下面的数据：​这是一个简单的例子，它只有一个特征，输出变量 yyy 仅仅是关于这一个特征 xxx 的函数，但是线性回归却无法拟合它。之前学习了一种局部加权线性回归算法，它自然可以很好地拟合这样的数据分布，但是那种算法要求对每一种预测都要重新训练参数，它的拟合效果的确非常好，但是有一个很大的缺点就是时间代价太大。​

文章目录前言1. Softmax 回归模型2. 优化方法3. 代码实现总结前言这篇文章是关于 Softmax 回归算法的总结和代码实现，Softmax 回归算法可以借助广义线性模型推导，也可以和逻辑回归作对比，将其看成逻辑回归算法在多分类问题上的一个推广。1. Softmax 回归模型​如果有一个多分类问题需要我们处理，我们假设输出变量 yyy 可能的取值为 {1,2,⋯ ,k}\left\{ 1,2,\cdots ,k \right\}{1,2,⋯,k} ，特征向量还是 x=(x0,x1,⋯ 

文章目录前言1. 指数型分布族1.1 理论1.2 实例2. 广义线性模型2.1 模型2.2 再看逻辑回归2.3 再看线性回归3. 再次理解前言这是观看吴恩达课程——广义线性模型后的自我总结与理解。1. 指数型分布族1.1 理论​若随机变量 xxx 的密度函数可以写成如下形式：p(x;η)=h(x)exp⁡(ηTT(x)−a(η))p\left( x;\eta \right) =h\left( x \right) \exp \left( \eta ^TT\left( x \right) -a

文章目录前言1. 局部加权线性回归模型2. 求解方法3. 代码实现前言​ 线性回归只能拟合线性曲面（广义的曲面），如果一个回归任务中的输出变量 y  (y∈R)y\,\,\left( y\in \mathbb{R} \right)y(y∈R) 关于特征向量 x=(x0,x1,⋯ ,xn)  (x∈Rn+1,x0=1)x=\left( x_0,x_1,\cdots ,x_n \right) \,\,\left( x\in \mathbb{R} ^{n+1},x_0=1 \right)x=(x0​,x1

文章目录前言1. 批量梯度下降法和随机梯度下降法概述1.1 线性回归算法回顾1.2 批量梯度下降法1.3 随机梯度下降法2. 我的误区2.1 误区详情2.2 误区的化解前言在线性回归那一篇文章中，我写了批量梯度下降算法和随机梯度下降算法，不过我之前在那片文章中写到我对随机梯度下降法有着疑惑，因为我当时觉得它和批量梯度下降算法做的是同一件事。现在我知道两者区别了。1. 批量梯度下降法和随机梯度下降法概述以线性回归模型为例。1.1 线性回归算法回顾假设 (x,y)\left( x,y \righ

文章目录前言一、逻辑回归模型二、求解方法1. 梯度下降法2. 牛顿迭代法前言这一篇文章是关于吴恩达老师的机器学习中逻辑回归的学习。一、逻辑回归模型对于二元分类问题（例如：肿瘤的良性与恶性，一幅图片中是有人或者无人）的分类方法很多，如果某二元分类问题可以大致使用一个线性平面（广义的平面，并非一定是二维平面）分离开，那么逻辑回归便是一个不错的分类算法。假设训练集有m个样本，第i个样本是(x(i),y(i))\left( x^{\left( i \right)},y^{\left( i \right

文章目录前言一、线性回归模型二、求解方法1.正规方程法2.梯度下降算法三、概率解释总结前言我正在学习吴恩达的机器学习课程，想在学习的过程中写一写博客。一是相当于做了笔记，总结一下机器学习的知识；二是在总结的过程中也会发现很多细节的问题可以让自己收获更多；三是分享到网上，或许对别人有所帮助，也或许我的错误之处被别人发现，也可以促使我改正。一、线性回归模型提供一定的数据作为训练集，训练集中有m个训练数据，假设训练集中每个样本为(x,y)\left( x,y \right)(x,y)，其中x=(x1,