weixin_42681868的博客

第八章 提升方法两种模式：(1)序列方法(2)并行方法8.1 Adaboost 算法8.2 Adaboost算法的训练误差8.3 Adaboost 算法的解释8.4 提升树实例：提升方法是通过对多个模型进行融合从而提升模型效果的方法。两种模式：(1)序列方法弱分类器是一个接一个的，后面的需要前面的结果，比如Adaboost，GBDT(2)并行方法弱分类器是并行训练的，每个弱分类器之间无关，如随机森林8.1 Adaboost 算法Adaboost会提高前一轮弱分类器分类错误的样本的权重，降

第七章 支持向量机7.1 线性可分支持向量机与硬间隔最大化7.2 线性支持向量机与软间隔最大化7.3 非线性支持向量机与和函数7.4 序列最小最优化算法实战：7.1 线性可分支持向量机与硬间隔最大化支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的，间隔最大使它区别于感知机。支持向量机还包括核技巧，这使它成为实质上的非线性分类器。学习策略可以形式化为求解凸二次规划问题，或者等价于 最小化合页损失分离超平面：决策函数：函数间隔：几何间隔：原始目标函数：上式中的

第六章 逻辑回归和最大熵模型6.1 逻辑斯蒂回归模型6.2 最大熵模型6.3 模型学习的最优化算法实战：6.1 逻辑斯蒂回归模型二项逻辑斯蒂回归模型:极大似然估计：多分类：6.2 最大熵模型最大熵原理是在满足约束条件的集合中选择熵最大的模型。最大熵模型：求解最大熵模型的过程就是求一个有约束的最优化问题。可以通过引进拉格朗日乘子构建拉格朗日函数，再通过求对偶问题的方式得到原...

第五章 决策树5.1 决策树模型的学习5.2 特征选择5.3 决策树的生成5.4 决策树的剪枝5.5 CART5.1 决策树模型的学习决策树是一种基本的分类和回归的方法，在分类问题中，可以认为是if-then规则的集合。也可以认为是定义在特征空间和类空间上的条件概率分布。分类决策树由节点和有向边组成，其中，节点分为内部节点和叶节点。决策树学习本质上是从训练数据集中归纳出一组分类规则。能对...

第四章 朴素贝叶斯法4.1 朴素贝叶斯法的学习和分类4.2 朴素贝叶斯法的参数估计实践：4.1 朴素贝叶斯法的学习和分类朴素贝叶斯法是基于贝叶斯定理 和条件独立假设的分类方法。先验分布：条件概率分布：如果对条件概率分布做条件独立性假设的话，条件概率分布的式子就会变成：当x的条件下y是分类k的概率为（结果是通过贝叶斯转化的结果，其中分母是相当于P（X=x）的边际概率，与y无关，是...

读书笔记-统计学习方法（小蓝）第三章第三章 k近邻法3.1 k近邻算法3.2 k近邻模型距离度量k值的选择决策规则实践：手动实现sklearn 实现3.1 k近邻算法k近邻是一种基本的分类 和 回归 方法k近邻法的三个基本要素为：1：k值的选择2：距离度量1：分类决策规则3.2 k近邻模型距离度量k值的选择1：k值太小：模型过于复杂（只考虑最近的一个点），过拟合2：k值...

第二章感知机2.1 感知机模型感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为类别。2.1 感知机模型

第一章统计学习方法概论1.1 统计学习统计学习的主要特点是：统计学习的对象：统计学习的目的：统计学习的方法：实现一个统计学习方法的步骤如下：1.2 监督学习联合概率分布：假设空间：1.3 统计学习三要素统计学习常用的损失函数期望风险和经验风险经验风险最小化和结构风险最小化1.4 模型的评估和选择1.5 正则化和交叉验证1.6 泛化能力1.7 生成模型和判别模型1.1 统计学习统计学习是关于计算...

模型融合https://mlwave.com/kaggle-ensembling-guide/

ARIMA模型平稳性：均值和方差没有明显的变化，经由样本时间序列得到的拟合曲线有“惯性”严平稳：分布不随时间的改变而改变弱平稳：期望与相关系数（依赖性）不变。发生在某时刻t的值依赖于他的过去的信息，所以需要依赖性差分法： 时间序列在t 于t-1 时刻的差值自回归模型（AR）:1.描述当前值和历史值之间的关系，用变量自身的历史时间的数据对自身进行预测2.自回归模型必须满足稳定性要求3...

1.数据集的构成：以文件为主（csv），数据库的数据读取速度有限；数据格式。主要处理数据的工具，pandas（numpy）。数据集：kaagle（比赛），uci（专业性），sklearn（框架，自带小型数据）数据结构：样本的特征值+目标值2.特征工程：使用sklearn（或者其他）处理特征值 .特征抽取，特征预处理，特征降维3.特征抽取：特征抽取就是将文本或者字典转化为数值类型（1）：...