lynn_1900的博客

文章目录Bagging和BoostingXGboost提升树——基于残差的训练模型构造目标函数树fK?f_{K}?fK​? 树的复杂度Ω(fK)?\Omega(f_{K})?Ω(fK​)?树的复杂度新的目标函数如何寻找树的形状？Bagging和Boosting相同点：都是集成模型。不同点：1. Bagging是过拟合的弱分类器的集成，算各模型预测值的加权平均，如随机森林；2. Boosting是欠拟合弱分类器的集成，算各模型预测值的和。XGboost提升树——基于残差的训练Example：训

文章目录关于python的一些操作数据读取解决中文显示的问题numpy可视化sklearn特征工程——数据预处理模型评估与选择关于python的一些操作数据读取scipy.io.loadmat('name.mat')skimage.io.imread('name.png')skimage.io.imshow(data)解决中文显示的问题# matplotlib不会每次启动时都重新扫描所有的字体文件并创建字体索引列表，# 因此在复制完字体文件之后，需要运行下面的语句以重新创建字体索引列表f

文章目录推荐系统1 模型2 基于内容的推荐系统 (给定 x1,…,xmx_{1},\dots,x_{m}x1​,…,xm​ , 估计 θ1,⋯ ,θn\theta_{1},\cdots,\theta_{n}θ1​,⋯,θn​)2.1 训练数据集2.2 代价函数梯度2.3 目标函数2.4 算法：梯度下降法3 给定 θ1,⋯ ,θn\theta_{1},\cdots,\theta_{n}θ1​,⋯,θn​ , 估计 x1,…,xmx_{1},\dots,x_{m}x1​,…,xm​3.1 训练数据集3.2

文章目录1 异常检测1.1 高斯分布1.2 异常检测算法1.3 异常检测 v.s. 监督学习1.4 特征选择1.4.1 特征变换1.4.2 特征的选择2 异常检测 (特征之间不独立的情况)2.1 多元高斯分布2.2 异常检测算法2.3 原始高斯 v.s. 多元高斯1 异常检测1.1 高斯分布假设每个特征都是服从高斯分布的：X(j)∼N(μj,σj2), j=1,⋯ ,nX^{(j)}\sim N(\mu_{j},\sigma_{j}^{2}),\ j=1,\cdots,nX(j)∼N(

文章目录K-均值聚类1 假设2 代价函数3 目标函数4 算法5 补充5.1 随机初始化5.2 K的选择——"肘部法则"6 代码K-均值聚类1 假设对于m个样本点，假设有K个类，每个类的中心分别为 μ1,⋯ ,μK∈Rn\mu_{1},\cdots,\mu_{K}\in \mathbb{R}^{n}μ1​,⋯,μK​∈Rn，样本点的分类为 C={ci},ci∈1,⋯ ,KC=\{c_{i}\}, c_{i}\in{1,\cdots,K}C={ci​},ci​∈1,⋯,K.2 代价函数J(c1,⋯ ,

文章目录支持向量机 (SVM)1 线性可分支持向量机1.1 线性可分支持向量机1.2 目标函数——硬间隔最大化1.3 学习的对偶算法2 软间隔支持向量机2.1 Hypothsis2.2 目标函数——最大化软间隔2.3 转化为对偶问题求解3 线性不可分支持向量机——引入核函数3.1 核函数3.2 Hypothesis——用ϕ(x)\phi(x)ϕ(x)代替xxx3.3 目标函数3.4 转化为对偶问题求解4 序列最小化 (SMO) 算法支持向量机 (SVM)1 线性可分支持向量机1.1 线性可分支持向量机

文章目录一些零碎的知识点知识点一：Lagrange对偶性知识点二：多类别分类: 一对多 (one-vs-all)知识点三：特征映射一些零碎的知识点知识点一：Lagrange对偶性参考李航老师的《统计学习方法》原始问题给定凸优化问题min⁡xf(x)s.t.gi(x)≤0, i=1,⋯ ,mhj(x)=0, j=1,⋯ ,n \begin{aligned} \min_{x}\quad &f(x) \\ s.t.\quad &g_{i}(x) \l

文章目录机器学习算法评估与优化策略1 机器学习诊断1.1 数据集1.2 误差1.3 诊断偏差、方差问题1.4 利用学习曲线诊断2 策略3 查全率和查准率 (Precision/Recall)机器学习算法评估与优化策略1 机器学习诊断1.1 数据集训练集70%-测试集30%通过训练集让我们的模型学习得出其参数后，对测试集运用该模型。训练集60%-交叉验证集20%-测试集20% ✓\checkmark✓假设我们要在10个不同次数的二项式模型之间进行选择，模型选择的方法为：使用训练集

文章目录神经网络 (Neural Network)0. 简单引入1. 数据2. 模型前向传播模型 (Forward Propogation)决策函数3. 代价函数4. 代价函数的梯度反向传播算法 (Backward Propogation)总结5. 目标函数算法：梯度下降6 预测及验证神经网络 (Neural Network)0. 简单引入只有输入层-输出层的神经网络 (感知机), 只能处理线性可分的问题, 如与(and)、或(or)、非(not):hθ(x)=g(θTx)h_{\theta}(x

逻辑回归 Logistic Regression1 逻辑回归 (Logistic Regression)1.1 数据 (Data)1.2 假设 (Hypothesis)1.3 对数似然函数 (Log Likelihood)1.4 代价函数 (Cost Function)1.5 代价函数的梯度 (Gradient)1.6 目标函数 (Goal)1.7 求解 θ∗\theta^*θ∗算法1 批量梯度下降 (Batch Gradient Descent)算法2 优化算法1.8 决策函数 (Decision Fun

多变量线性回归1 多变量线性回归1.1 Data (数据)1.2 Hypothesis (假设)1.3 Cost Function (代价函数)1.4 Gradient (代价函数的梯度)1.5 Goal (目标)1.6 求解 θ∗\theta^*θ∗算法1 正规方程 (Normal Equation)算法2 批量梯度下降 (Batch Gradient Descent)两种算法比较2 正规化的线性回归模型2.1 Hypothesis (假设) (不变)2.2 Cost Function (代价函数)2.3