malele4th

lecture 2：感知机学习算法Perceptron Learning Algorithm（PLA）目录lecture 2感知机学习算法Perceptron Learning AlgorithmPLA目录1Perceptron Hypothesis Set感知器假设集2Perceptron Learning Algorithm PLA3PLA停下的保证4不可分...

lecture 18：强化学习Reinforcement Learning目录lecture 18强化学习Reinforcement Learning目录1简介1什么是强化学习2强化学习方法汇总3为什么要用强化学习2强化学习算法参考： https://morvanzhou.github.io/tutorials/machine-learning/r...

lecture 19：MapReduce、Hadoop、Spark目录lecture 19MapReduceHadoopSpark目录1MapReduce分布式计算的框架2Hadoop流3Spark1架构及生态2Spark与hadoop3运行流程4Spark例子1MapReduce分布式计算的框架一些开源的软件项目提供了海量数据处理的解决...

lecture 20：sk-learn目录lecture 20sk-learn目录1why sklearn2sklearn一般使用1选择学习方法2通用学习模式3sklearn 强大数据库4sklearn 常用属性与功能3高级使用1正则化4实例DTGBDTXGBoost1why sklearn?机器学习的方法包括: 监...

lecture 7：K近邻KNN目录lecture 7K近邻KNN目录1KNN思想2距离函数3KNN模型4K值的选择5应用 scikit-learn 库实现k近邻算法1KNN思想给定一个新样本，在已正确分类的样本集中，寻找与该样本最相似（距离最近）的K个样本，根据 K 个样本多数属类确定新样本的类别。 两个不足： （1）当类样本数量不平衡...

参考：https://www.jianshu.com/p/fb97b21aeb1d决策树的学习本质上就是从训练数据集中归纳出一组分类规则，使它与训练数据矛盾较小的同时具有较强的泛华能力。决策树的损失函数通常是 正则化的极大似然函数，学习的策略是最小化损失函数由于这个最小化问题是一个NP完全问题，现实中，我们通常采用启发式算法来近似求解这一最优化问题，得到的决策树是次最优的。该启发式...

探究算法细节，深入了解算法原理支持向量机 SVM1. 支持向量机1. 支持向量机

目录欢迎使用Markdown编辑器欢迎使用Markdown编辑器的的

探究算法细节，深入了解算法原理梯度提升决策树1.1.的

探究算法细节，深入了解算法原理随机森林RF1.1.的

探究算法细节，深入了解算法原理朴素贝叶斯NB1. 朴素贝叶斯介绍1. 朴素贝叶斯介绍朴素贝叶斯（Naive Bayes）的"朴素"是假设各个特征之间相互独立算法简单，计算量小，但损失一定的正确率，常用于文本分类通过先验概率+数据，得到后验概率，从而确定分类是一种生成模型，需要找出联合分布P(X,Y)，然后求出P(Y|X)=P(X,Y)/P(X)...

探究算法细节，深入了解算法原理@[toc]决策树 DT1.的

探究算法细节，深入了解算法原理XGBoost1.1.的

探究算法细节，深入了解算法原理自适应提升算法AdaBoost1.1.

lecture 1：机器学习基础知识目录lecture 1机器学习基础知识目录01机器学习概念2机器学习分类3感知机Perceptron最简单的机器学习算法4训练集测试集验证集5过拟合6正则化7交叉验证8梯度下降9学习率10特征约简11正规方程和梯度下降0参考：https://morvanzhou.github.io/learnin...

lecture 17：XGBoost（eXtreme Gradient Boosting ）目录lecture 17XGBoosteXtreme Gradient Boosting 目录1XGBoost是什么2xgboost vs gbdt3XGBoost原理1定义树的复杂度2打分函数计算示例3分裂节点4自定义损失函数指定gradhess5Xgboost调参...

lecture 3：线性回归模型Linear Regression（LR）目录lecture 3线性回归模型Linear RegressionLR目录1单变量线性回归1线性回归表示2代价函数cost function3梯度下降法Gradient Descent求解参数4 学习率alphalearning rate2多元线性回归1多元方程2多变量代价函...

lecture 4：逻辑回归Logistic Regression目录lecture 4逻辑回归Logistic Regression目录1分类和模型表示2逻辑回归1逻辑回归的代价函数的选取3过拟合和正则化1分类和模型表示先来谈谈二分类问题。课程中先给出了几个例子。 邮件是垃圾邮件还是非垃圾邮件； 网上交易是的欺骗性（Y or ...

lecture 5：Fisher线性判别分析LDA目录lecture 5Fisher线性判别分析LDA目录1LDA思想2二类问题3K类问题4LDA的一般步骤1LDA思想LDA，将高维样本投影到具有最佳判别效果的低维矢量空间，使得降维样本在新的子空间内类间距离最大，而类内距离最小，即在该低维空间内有最大的可分性。LDA 既可以实现降维，也能完成分...

lecture 6：主元分析PCA目录lecture 6主元分析PCA目录1PCA思想2最大方差法3PCA一般步骤4PCA协方差SVD分解1PCA思想 PCA通过线性变换将原始数据，变换为一组各维度线性无关的表示 PCA通过原变量的线性组合，寻找一组能最大限度携带原变量的有用信息，且相互不相关的一组新变量，一般通过主元回归检验法...

lecture 8：K-means聚类（无监督）目录lecture 8K-means聚类无监督目录1K-means思想2K-means算法和目标函数3选择聚类数K4K-means优缺点1K-means思想聚类算法clutering只是无监督学习的一种，不是所有的无监督学习都是聚类算法K-means也是聚类算法中最简单的一种。但是里面包含的思想却...

lecture 9：决策树Decision Tree目录lecture 9决策树Decision Tree目录1决策树基础2特征选择1信息熵2信息增益3根据信息增益选择属性的例子4增益率3决策树生成算法ID3C45CART4剪枝处理1决策树基础决策树（decision tree）是一种基本的分类与回归方法，主要用于分类。可以看做是...

lecture 10：支持向量机SVM目录lecture 10支持向量机SVM目录1大间隔分类超平面2SVM在Linear Hard-Margin SVM3对偶Dual SVM4Solving Dual SVM5Kernel SVM1核技巧2多项式核高斯核6soft-margin SVM1Soft-Margin SVM的对偶形式7序列最小化优化SMO算...

神经网络内容比较多，这里先简单介绍，后面会有更详细的介绍。lecture 11：人工神经网络ANN目录lecture 11人工神经网络ANN目录1前向传播2后向传播3BP算法4需要注意的问题1前向传播 2后向传播 3BP算法 4需要注意的问题 以后博客中，会给出方案（1）隐含节点的...

lecture 12：朴素贝叶斯 naive bayes目录lecture 12朴素贝叶斯 naive bayes目录1朴素贝叶斯相关的统计学知识2朴素贝叶斯的模型3朴素贝叶斯的推断过程4朴素贝叶斯的参数估计5总结6scikit-learn 朴素贝叶斯类库参考博客：https://www.cnblogs.com/pinard/p/6069267.htm...

lecture 13：blending and bagging（自举、装袋）目录lecture 13blending and bagging自举装袋目录1聚合aggregation的原因2uniform blending3linear and any blendingstacking4BaggingBootstrap Aggregation引导聚合1聚...

lecture 14：提升算法AdaBoost集成学习Adapt Boost目录lecture 14提升算法AdaBoost集成学习Adapt Boost目录1集成学习1方差偏差2Bagging与Boosting2提升方法AdaBoost算法3AdaBoost算法4AdaBoost在sklearn例子1集成学习 集成学习（ens...

lecture 15：随机森林Random Forest目录lecture 15随机森林Random Forest目录1Bagging与Boosting的区别2决策树3随机森林4随机森林算法5随机森林的推广6总结7sk-learn中的随机森林算法1Bagging与Boosting的区别随机森林属于集成学习（Ensemble Learning）...

lecture 16：梯度提升决策树GBDTGradient Boosting Decision Tree目录lecture 16梯度提升决策树GBDTGradient Boosting Decision Tree目录1GBDT概述2GBDT的负梯度拟合3GBDT回归算法4GBDT分类算法1二元GBDT分类算法2多元GBDT分类算法5GBDT常用损失函...

探究算法细节，深入了解算法原理LightGBM1.1.的