机器学习中的数据使用

原始数据===训练数据（得到参数$\theta$）+测试数据===训练数据+验证数据(用于选择超参数$\lambda$)+测试数据

交叉验证：3折交叉验证；
选择$\lambda$的过程就是调参的过程；

$X\theta=y=>\theta=((X^{T}X)^{-1}X^{T}y)$
如果X可逆：$\theta=X^{-1}y$；
将X逆做推广，有Moore-Penrose广义逆矩阵（伪逆）；
可以定义X的伪逆$X^{+}=(X^{T}X)^{-1}X^{T}$
通过SVD分解求伪逆；