tendency

最小二乘法：目标函数=∑（观测值-理论值）²J(θ)=1/2(Xθ−Y)T (Xθ−Y)迭代的表达式是：θ=(XT X+αE)−1 XT Y其中E为单位矩阵。 Ridge回归：通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题。它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和一个调节线性回归项和正则化项权重的系数α。J(θ)=1/2(Xθ−Y)T...

线性回归，作为机器学习入门，比较好理解，小学数学中y=kx+b到研究生阶段开始进行了深度研究，之前用两对参数确定两个未知数，现在用n对参数来估计一套近似值，不过由于未知数的数量，以及线性模型的不确定，要让线性回归达到一个预测未来还是相当有难度的。随着一些重要的模型和深度学习的引入，线性回归虽然效果不够，不过最初的思想仍然不变，用数据来预测数据，让数据给我一个更理性的判断。 我们采用scikit...

skiti-learn的Adaboost库中包括两个，AdaboostClassifier(分类)和AdaboostRegressor(回归)。AdaboostClassifier有两种分类算法实现，SAMME和SAMME.R；AdaboostRegressor只有Adaboost.R2。针对Adaboost调参，主要对两部分内容，第一部分是对我们Adaboost框架调参，第二部分是对我们选择的弱...

SVM算法库分为两类，一类是分类算法库，SVC，NuSVC,LinearSVC；另一类是回归算法库，SVR,NuSVR,LinearSVR。分类算法库中，SVC，NuSVC差不多，区别在于损失的度量方式不同；LinearSVC是线性分类，不支持从低维到高维的核函数，仅仅支持线性核函数，对线性不可分数据不能使用。同样，SVR，NuSVR和LinearSVR与分类算法库类似，不过是用作回归。如果有...

skiti-learn中有两个，GradientBoostingClassifier（分类）和 GradientBoostingRegressor（回归）。两者参数基本相同，并且参数类似Adaboost，分为两类参数，Boosting框架参数和弱学习器参数即CART回归树的参数。GBDT类库boosting框架参数GradientBoostingClassifier和GradientBoo...

skiti-learn中，与逻辑回归相关的3个类：LogisticRegression, LogisticRegressionCV,logistic_regression_path。LogisticRegressionCV使用交叉验证选择正则化系数C。logistic_regression_path类则比较特殊，它拟合数据后，不能直接来做预测，只能为拟合数据选择合适逻辑回归的系数和正则化系数。主要...

skiti-learn中KNN分类树的类是KNighborsClassifier,KNN回归树的类是KNighborsRegressor.除此之外，限定半径的最邻近分类树RadiusNighborsClassifier,限定半径的最邻近回归树RadiusNighborsRegressor,最近质心分类算法NearestCentroid.这些算法类中,KNN的分类和回归参数完全一样，限定半径的分类...

朴素贝叶斯共有三种分类算法，GaussianNB,MultinomialNB和BernouliNB，GaussianNB是先验为高斯分布的朴素贝叶斯，MultinomialNB是先验为多项式分布的朴素贝叶斯，BornouliNB是先验为伯努利分布的朴素贝叶斯；一般情况下，如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。如果如果样本特征的分大部分是多元离散值，使用Multinom...

skiti-learn内部实现的是调优过的CART决策树。既可以做分类，也可以做回归。分类决策树采用的类是DecisionTreeClassifier,回归则是DecisionTreeRegressor。DecisionTreeClassifier and DecisionTreeRegressor重要参数调参1）.特征选择标准criterion:DecisionTreeClassifie...

线性回归的目的是要得到输出向量Y和输入特征X之间的线性关系，求出线性回归系数θ,也就是 Y=Xθ。其中Y的维度为mx1，X的维度为mxn，而θ的维度为nx1LinearRegression最常见的普通线性回归，损失函数如下：J(θ)=1/2 (Xθ−Y)T (Xθ−Y)此损失函数一般采用梯度下降法或者最小二乘法优化skiti的LinearRegression类中采用的是最小二乘法：...

Ridge回归的损失函数：J(θ)=1/2 (Xθ-Y)T (Xθ-Y) +1/2 α||θ||²2对于算法的实现，一般先确定模型，然后根据模型确定目标函数。而机器学习的实现基础是数据，对数据的处理分析必不可少，算法实现后还需对模型评估对比。设置线性回归模型如下：PE=θ0+θ1∗AT+θ2∗V+θ3∗AP+θ4∗RH数据的读取以及数据集的划分import matplotlib....

深度学习大全：https://github.com/ChristosChristofidis/awesome-deep-learning花书要点：https://zhuanlan.zhihu.com/p/61528654互联网常见面试题：https://www.zhihu.com/question/24964987/answer/586425979leetcode解题之路：https://g...