多变量线性回归,其实就是多参数,用向量代替单个参数。
特征缩放
本来由于下降梯度的不同会造成向着梯度最小方向进行的时候不是向着最快的收敛方向前进,由于起始点不同会造成收敛速度差别很大,如果特征缩放之后使收敛速度和选择的初始点关系变小一些,使回归快一些。将数据归一化,使数据范围在-1 到 1。
最好还是看收敛曲线,不要自动判断收敛,因为你可以看出来趋势,判断是不是病态的。
学习率也不宜过大,要防止越过最低点,导致无法收敛,但是太小的话收敛太慢,也不合适。可以尝试多个学习率看一下损失函数曲线,找一个合适的。多元
线性回归不一定要用线性的,可以用二次三次函数(平方根)。多个特征之间可以相互替代,找到合适的拟合函数(比如面积可以用长宽两个参数来代替)。