weixin_43927279的博客

【代码】逻辑回归 实现。

【代码】感知机算法 实现。

作者查阅了一些资料，全是公式函数名也陌生，所以这部分一直进行不下去。其实不用怕，只是提出了一类分布，这一类分布遵循着一些性质，具体推导过程甚至可以不了解，直接拿着结论用。通过这些特点你可以根据极大似然估计求损失函数。

线性判别分析中有降维，把数据都投影到同一条线上，然后在直线上取一个阈值，将直线分成两条射线，每一条代表一个分类。会损失一些数据信息，但如果这些信息是一些干扰信息，丢失也未尝不是好事。线性判别分析之后的结果是一个向量，其他的不行吗？主要指导思想(目标)：类内小，类间大。我们得到的是向量，为了方便计算损失，不妨设∣∣w∣∣=1||\pmb w||=1∣∣ww∣∣=1，每一个数据$ \pmb X_i看作一个向量。那么看作一个向量。那么看作一个向量。那么\pmb X_i\pmb w是每个数据在是每个数据在是每个数据

【代码】线性回归 实现。

在线性回归的时候我们假设了误差ϵ\epsilonϵ，将其视为一个高斯分布，得到每个yi\pmb y^iyyi的概率，为什么到了逻辑回归就不用假设，而是hθhθθ​直接得到的就是概率呢？是通过推导得出来的还是只是因为此函数比较优异？见链接。

但我所构建的数据集，其实并不符合实际，生活中的数据不应该出现毛刺，应该更平滑点如预测曲线，所以我认为预测曲线更符合实际。局部加权线性回归需要保存训练的数据，能拟合不能确定模糊表达式的点集，其预测值主要会被附近的点影响，但远离预测值。越大，曲线将会受很远的值影响，也会能预测出数据较少或者的位置的值。(代码里的k)的大小能够调节钟形曲线的瘦高还是矮胖。越小，会更符合原数据，也会容易过拟合。本代码通过使用最小二乘法直接求最优解。函数实现一个类钟形曲线的权重。的对预测值的影响几乎为零。以上为人工数据集分布。

并没完全理解，但我认为不是学数学的，不需要了解的太过细，只需要记住求导后矩阵的形状就可以了。