lzbmc的博客

第1章 绪论笔记：笔记（一）机器学习（周志华）第1章 绪论 （假设空间、版本空间）第2章 模型选择和评估笔记：笔记（二）机器学习（周志华）第2章 模型选择和评估代码：【实战】第2章 模型选择和评估——交叉验证、分层采样的k折交叉验证、留一法第3章 线性模型笔记：笔记（三）机器学习（周志华）第3章 线性模型代码：【实战】第3章 线性模型 -- 线性回归、对率回归（逻辑回归...

第6章 支持向量机间隔与支持向量间隔与支持向量分类学习的最基本想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。能将训练样本划分开的平面可能有很多个选择位于两类训练样本“正中间”的划分超平面，原因是这个超平面的分类结果最鲁棒，泛化能力最强。因为这个超平面对训练数据局部扰动的容忍性最好，新样本最不容易被误分类。也就是说这个超平面对未见示例的泛化能力最强...

第5章 神经网络1. 神经元模型1.1. M-P神经元模型2. 线性回归2.1. 回归 VS 分类2.2. 什么是线性回归2.3. 离散属性连续化2.3.1. 属性值间有序2.3.2. 属性值间无序2.4. 如何确定参数w和b2.4.1 均方误差最小二乘法2.4.1 求解w和b2.5. 多元线性回归2.6. 广义线性模型2.6.1. 广义线性模型2.6.2. 对数线性回归2.7. 线性回归模型sc...

感知机权重调整(5.2)

第4章 决策树1. 基本流程2. 划分选择2.1. 决策树学习的关键2.2. 信息增益（ID3）2.2.1. 信息熵2.2.2. 信息增益2.2.3. ID32.3. 增益率/信息增益比(C4.5)2.3.1 定义2.3.2. C4.52.4. 基尼系数（CART）3. 剪枝处理3.1. 预剪枝3.2. 后剪枝4. 连续与缺失值4.1. 连续值处理4.1.1 连续属性离散化：二分法4.1.2 连续...

决策树分类sklearn.tree.DecisionTreeClassifier (criterion=’gini’*, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=...

第3章 线性模型1. 基本形式2. 线性回归2.1. 回归 VS 分类2.2. 什么是线性回归2.3. 离散属性连续化2.3.1. 属性值间有序2.3.2. 属性值间无序2.4. 已知数据集D，如何确定参数w和b均方误差最小二乘法2.5. 求解w和b2.6. 多元线性回归1. 基本形式定义：试图学得一个通过属性的线性组合来进行预测的函数公式  向量形式：线性模型有良好的可解释性，每个属...

多元线性回归（均方误差） 目标函数求导过程对数几率回归/逻辑回归（分类任务，极大似然法）目标函数简化：

第2章 模型选择和评估1. 经验错误与过拟合2. 评估方法2.1 划分数据集2.1.1 留出法2.1.2 交叉验证法留一法LOO2.1.3 自助法2.2 调参与最终模型3. 性能度量3.1. 错误率与精度3.2. 查全率、查准率、F13.2.1 分类结果混淆矩阵3.2.2 查准率precision3.2.3 查全率recall3.2.4 P-R曲线3.2.5 F1F1：P和R的调和平均Fβ：加权调...

1. 引言1) 定义机器学习是一门致力于研究如何通过计算的手段，利用经验（数据）来改善系统自身的性能的学科。2) 研究的主要内容在计算机上，从数据中产生“模型”的算法，即“学习算法”。3) 如何运用有了学习算法，把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时，模型会给出相应的判断。2. 基本术语数据集：所有记录的集合示例/样本：每条记录。有时整个数据集也会看成...