火鸡哥

线性回归线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记； 其向量形式： f(x)=WT∗x+bf(x)=WT∗x+bf(x) = W^T*x + b下面将使用最简单的形式来分析线性回归： y=w∗x+by=w∗x+by = w*x +b1､绝对值损失函数Error=|y0−y′|={y0−y′,y′−y0,y0>y′y0≤y′Error=|y0−y′...

对数几率回归对数几率回归（logistic regression），又称为逻辑回归，虽然它的名字是“回归”，但实际却是一种分类学习方法，那为什么“回归”？个人觉得是因为它跟线性回归的公式有点关联。 对数几率函数是sigmoid函数。1､模型 线性回归：z=w∗x+bz=w∗x+bz = w*x+ b 逻辑回归：y=11+e−zy=11+e−zy = \frac{1}{1+e^...

决策树决策树是一种基本的分类和回归方法；决策树的学习通常包括3个步聚：特征选择、决策树的生成和决策树的修剪。1､数据处理1.1､连续值处理 我们知道，决策树是通过离散属性来生成的，但实际任务中常会遇到连续属性，因为有必要处理连续值。 下面是西瓜的数据集： 编号 色泽 触感 密度 好瓜 1 - 硬滑 0.697 是 2...

朴素贝叶斯朴素贝叶斯是概率框架下实验决策的方法，是基于贝叶斯定理与特征条件独立假设的分类方法。 1､贝叶斯定理：由图一可知A、X同时发生的概率为：P(A)∗P(X|A)P(A)∗P(X|A)P(A) * P(X|A); 由图二可知A、X同时发生的概率为：P(X)∗P(A|X)P(X)∗P(A|X)P(X) * P(A|X); 所以有: P(A)∗P(X|A)=P(X)∗P(A|...

1､感知机模型定义： 假设输入空间是 X⊆RnX⊆R^n，输出空间是 y={+1,−1}y=\{+1,-1\}.输入 x∈Xx∈X 表示实例的特征向量，对应于输入空间的点；输出 y∈Yy∈Y 表示实例的类别。由输入空间到输出空间的如下函数 f(x)=sign(w∙x+b)f(x)=sign(w∙x+b)称为感知机。其中，ww和bb是感知机模型参数，w∈Rnw∈R^n叫作权值，b∈Rb∈R叫作

1､支持向量机支持向量机(Support Vector Machine)是一种二类分类模型，支持向量机的间隔最大化使它有别于感知机，同时支持向量机还包括核技巧，使得它解决非线性分类的问题。这里的间隔分为硬间隔和软间隔。硬间隔是指间隔内没有误分类点，软间隔是允许间隔内有误分类点。2､模型支持向量机是定义在特征空间上的间隔最大的线性分类器，所以，支持向量机的模型是一个具有“最大间隔”的...

bagging和boosting是提高监督式学习方法准确率的两种常用的集成方法。1､baggingbagging即套袋法，是并行式的集成学习方法，随机森林是bagging的一种。执行步骤:1､从原始训练集中随机抽取小部分数据当作新的训练集。假设设定需要n个弱学习器，则需要抽取n次（放回抽样），得到n个训练集。2､训练弱学习器。每个训练集训练出一个弱学习器，得到n个弱学习器。3､预测。测...

注：本文转自https://blog.youkuaiyun.com/xavier_muse/article/details/84403207。GBDT（Gradient Boosting Decision Tree）是一种基于迭代所构造的决策树算法，它又可以简称为MART（Multiple Additive Regression Tree）或GBRT（Gradient Boosting Regression...