hahaha_2017的博客

PCA算法的大致步骤：设有m条n维数据，m个样本，对原始数据标准化（减去对应变量的均值，再除以其方差），每个样本对应p个变量,x=(x∗1,x∗2,⋯，x∗n)′x=(x1∗,x2∗,⋯，xn∗)′。1.对原始数据标准化（减去对应变量的均值，再除以其方差）参考1：https://blog.youkuaiyun.com/m0_37788308/article/details/78115209，感...

参照https://blog.youkuaiyun.com/csuzhaoqinghui/article/details/79742685

参考花书《深度学习》P129和P71

转自：https://blog.youkuaiyun.com/danieljianfeng/article/details/41901063logistic回归（二分类）：定义逻辑回归hypothesis为，其中，为sigmoid函数，可以理解为预测为正类的概率。损失函数为： 对loss函数求导得到：到现在为止，我们已经得到了loss函数以及关于参数的偏导数，只需要通过梯度...

    李航博士统计学习方法一书中，有以下描述：      统计学习方法都是由模型，策略，和算法构成的，即统计学习方法由三要素构成，可以简单表示为：         对于logistic回归来说，模型自然就是logistic回归，策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度，算法则是求解过程模型：...

    linear svm是基于距离分类，LR是基于概率分类，即svm的最优化问题是距离最大化，LR的优化问题是概率最大化，具体原理参照《机器学习_周志华》。本质上还是损失函数的不同。    其他区别：    1. SVM不能直接输出概率，LR可以；    2. SVM一般要进行数据的normalization 的处理，因为SVM依赖于数据的测度，但是LR一般不用，但是如果LR加上了正则项，也需...

线性可分支持向量机：    线性可分支持向量机处理的是严格线性可分的数据集。    其分类超平面为：    相应的

SVM作为判别模型(discriminative model)中所使用的典型方法，其产生是为2分类问题设计的svm多分类效果不佳，目前是svm研究的热点之一。libsvm用的是one- versus-one法。简介：.一对一法（one-versus-one,简称OVO SVMs或者pairwise）。其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当...

以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标.常见CV的方法如下:1).Hol...

参照https://www.zhihu.com/question/26957827?sort=created，感谢作者以SVM这样的强分类器作为弱分类器使用，有可能会造成两个问题：1. 第一次产生的分类器错误率已经达到上限，使后面的分类器起不到效果，或者说分类器的差异性太小；2. 训练出的多个分类器，基本是相似位置的超平面，也就是说，最后组合得到的还是一个线性分类器，因此模型对数据的拟合能力，不如...

https://blog.youkuaiyun.com/luo_wei369/article/details/9336287中，博主认为adaboost弱分类器的训练，所用的样本是原始样本的某一维，而在论文《一种基于 AdaBoost-SVM 的流量分类方法》中，作者在讲解adaboost原理时，弱分类器所用的训练样本，是对原始数据的抽样。到底哪一种理解才是对的，望多多指教本人更倾向于后者，因为即使是对原始数...

　　转自https://www.cnblogs.com/pinard/p/6136914.html，感谢作者  在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之...

问题1：令输出层节点数为7，有些测试样本每个节点的输出全部一样，但是有的样本就正常。解决办法：原先将学习率定为0.1，先定为0.001，问题得以解决。但是不明白为什么，还请指教问题2：输出层输出结果完全一样，且不是0，测试集全都被判断成同一类解决办法：这种情况有可能是初始权值全部设置为了0或者输入全部是0。发现测试集没有输入进去，输入层输入的全是0，修改后得以解决。...

参考：https://blog.youkuaiyun.com/starter_____/article/details/79215684，感谢作者