m0_37754282的博客

在前面已经学习了线性回归，但是线性回归的应用场景往往是，比如：知道你的身高，你的收入，你的颜值分，你的家底，问你未来能交到的对象的总体评分是多少。 我们用离散的数据构造了一个连续的模型，并以此把重心放在“预测数值”上。但是当我们遇到：已知西瓜的颜色，重量，花纹等信息，问是不是好瓜？ 答案必然是：yes / no. 所以逻辑回归就引入了这样的问题，虽然叫做回归，但实际却是在解决分类问题。 可是我们拟合出来的图像都是一些线条可怎么进行逻辑性回答呢？ y=1,if x>0 y=0.5 if x=0 y=0

多元线性回归 Linear Regression 线性回归，就是给在平面图上给出一组数据，我想找到一条穿过他们中间的直线，使得每个点到这条直线的距离的和都能最小。 如果是多元线性回归，那么意味着将不再是普通的y=wx+b问题，而是y=w1x1+w2x2+…+b的问题。 但是，拟合必然有损失，我们定义以下损失函数↓ 均方误差，顾名思义又算方差，又算平均值。 展开来写： 最后一步实际上是求偏导。要求这个式子的最小值，也就是 他的最小值： 我们在高中学过，求最大最小值，就要求导数=0. 所以对w进行偏

为什么要正则化？ 就是为了解决过拟合问题。 为啥过拟合？ 有部分原因就是x1,x2,x3…一大堆特征太多了（一个x代表一个特征） 假设有一个只有两个特征x1,x2的模型算出来的非线性方程是↓ 把模型得到的每个项的参数写成一个矩阵w w0不计入，一个常数，写在外面就行。 没有正则化调整之前的误差方程是: 引入之后： λ≥0是提前选择的控制强度的超参数。 说人话就是，减重。 给谁减重？ 给那些次幂很大，其实没那么重要（甚至导致过拟合）的项加上一个惩罚项来中和它的影响。 假设一组数据集算出来的模型有9次

琴生不等式 Jensen 由数学归纳法证明 对损失函数 Logarithmic function entropy 信息熵 log底数一般为2.信息熵代表着X不确定程度。