ywj_1991的博客

老饼讲解-机器学习：PCA主成份分析常用于降维，是一个基础、知名度极高和常用的方法本文介绍PCA的原理和本质，并介绍相关使用场景的用法

【老饼讲解-机器学习】本文解说SVM的硬间隔损失函数的定义和思想，以及硬间隔损失函数的推导。

《老饼讲解-机器学习》本文收集、整理一些关于【逻辑回归】的优秀网文，用于学习、参考和拓展。

《老饼讲解-机器学习》：本文讲解，逻辑回归模型sigmoid函数由来的思路与推导。推导思路主要来源于香农信息量。

笔者花了近十天时间，到各个网站上去玩了一遍，精心筛选出传统机器学习的干货网站和资源，不能保障全面，尽量让每个网站都是机器学习的干货好网站。

《老饼讲解-机器学习》本文讲解sklearn中决策树ccp_alpha参数的使用方法,它主要用于ccp后剪枝。ccp_alpha的值要设为多少？事实上，一般并不是直接设置ccp_alpha，而是要先打印CCP路径，再根据路径信息来决定alpha的值。CCP路径又是什么鬼？本文一一道来。

《老饼讲解-机器学习》线性回归中一般使用均方差作为损失函数，那均方差的背景意义是什么呢？本文从概率的角度讲解，线性回归中均方差损失函数的实际意义。

《老饼讲解-机器学习》本文展示一个python的sklearn中实现Adboost的Demo,Adboost的原理请参考《Adboost原理》sklearn内部如何实现Adboost算法请参考《Adboost-自实现代码》代码简介代码展示一个利用python的sklearn实现Adboost的Demo，Demo先是随机生成一组二分类数据，然后调用Adboost包进行训练，最后展示预测结果和模型的相关参数。........................

本站原创文章，转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com在机器学习的线性求解中，线性方程组往往不可解，我们更多时候是求取一个最小二乘解，称为OLS(ordinary least squares)最小二乘法最小二乘解公式因此成为机器学习的一个常用公式，本文介绍什么是最小二乘解、最小二乘解的公式，和最小二乘解公式的两种推导。最后，讲解QR分解如何优化最小二乘解的实际计算。....................................

《老饼讲解机器学习》目录1.下载graphviz2.安装3.测试运行graphviz报错：failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on your systems' PATH1.下载graphviz到 https://graphviz.org/download/下载graphviz(64位系统一定要选择64位Ins

一. 学习决策树原理的顺序二.CART分类树(一)分类树模型结构,(二).分类树构建过程,(二).剪枝(防止过拟合）三. CART回归树模型四. ID3算法五.C4.5算法,(一) ID3的缺陷,(二) C4.5打上补丁六.决策树演进与对比能来看算法原理的，估计都对决策树有一些初步理解了。决策树算法原理其实非常简单， 但由于网上杂文过多，往往把概念弄得非常混乱，造成原理理解困难

一.数据处理,(一) 数据预处理(二)训练、测试数据分割,二.试探建模极限,三.参数调优(预剪枝),1.参数网络扫描,2.参数评估,3.待调优参数列表四.后剪枝调优,(一) 打印决策树相关信息,(二) 剪枝,五.模型提取,决策树建模完整流程主要有五个：1.数据处理,2.试探建模极限,3.参数调优,4.后剪枝,5.模型提取本文只作流程介绍，完整代码见《决策树建模完整代码》

为预防模型过拟合，我们可以采用预剪枝和后剪枝方法，1. 预剪枝:树构建过程，达到一定条件就停止生长，2. 后剪枝是等树完全构建后，再剪掉一些节点。本文讲述后剪枝，预剪枝请参考《sklearn决策树预剪枝》一.CCP后剪枝简介，后剪枝一般指的是CCP代价复杂度剪枝法（Cost Complexity Prun.一.CCP后剪枝简介二.剪枝操作过程(1)查看CCP路径(2)根据CCP路径剪树

为预防模型过拟合，我们可以采用预剪枝和后剪枝方法1. 预剪枝:树构建过程，达到一定条件就停止生长2. 后剪枝是等树完全构建后，再剪掉一些节点。本文讲述预剪枝，后剪枝请参考《sklearn决策树后剪枝》一.预剪枝即调参预剪枝是树构建过程，达到一定条件就停止生长，在sklearn中，实...

将训练好的模型sk_tree传入以上函数，转化成字典，保存成文件。在决策树模型建好之后，要提取规则布署到生产。《老饼讲解机器学习》

用sklearn建好决策树后，可以打印出树的结构：但往往我们提取图中的数据（例如用于将决策树转化成规则代码），那图中的数据究竟在哪呢？本文讲述如何在sklearn训练好决策树后，提取决策树中的数据。

《老饼讲解机器学习》目录一.代码二.运行结果sklearn中，训练完决策树后，将决策树可视化，更容易帮助我们了解模型的训练结果。决策树图形化 需要先通过pip安装graphviz包： pip install graphviz仍然使用《分类:一个简单的决策树例子》中的例子：一.代码from sklearn.datasets import load_irisfrom sklearn import treeimpor

(2) 设立一个损失函数（也是在信息增益，信息增益比，GINI系数的基础上设立的一个引导函数），如果剪掉该枝，损失函数下降，则剪掉。熵，熵增益，GINI系数都是在构建树过程中，用来引导树选择哪个变量分裂，连续变量在何处分裂的函数。树分裂时是一裂到底，但往往一些节点裂与不裂没区别，另一方面，裂得太细致，往往出现过拟合。预剪枝则指建枝过程中，达到一定条件就不剪了，例如，深度到一定程度，或者节点样本过少等等。因此，剪掉一些不必要的未端枝节，使模型更简单（更简单的模型也意味着更不易过拟合）。

《老饼讲解机器学习》目录一.问题二.流程与代码(一) 流程(二) 代码(三)输出一个简单的决策树例子(附python代码) ----实现CART分类树(回归树查看文末链接)一.问题现已采集150组 鸢尾花数据：鸢尾花类别（山鸢尾,杂色鸢尾,弗吉尼亚鸢尾）与四个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）。则我们可以通过采集的数据训练一个决策模型，之后就可以用该模型进行预测鸢尾花类别...