《机器学习技法》第15课笔记 矩阵分解

课程来源：林轩田《机器学习技法》

课程地址：https://www.bilibili.com/video/av12469267/?p=1

1. x是用户特征，y是用户对电影的评分，可以用这样的两层网络来训练

2. 考虑到X是onehot过的，只有一个x是1，其它都是0，所以不需要再进行激活了，没有阈值要考虑，直接输入就输出，那么可以线性神经元。这时就称为线性神经网络

3. 估算的用户评分，就是先经过第一层转换V，然后第二层转换W。针对某个具体的电影，那么只要W第m列的值就行了

4. W是电影矩阵，V是用户转换矩阵，我们要做的就是预测值矩阵y和真实的用户评分矩阵r尽可能接近。定义损失函数

5. 我们一旦解出了该优化问题，那么就可以做到两件事

1）怎么做转换（V）

1）第二层的权重是多少（W）

6. 我们要做的就是把R拆成V*W

1）V可以认为学习了用户感兴趣的元素

2）W可以认为学习了电影包含的元素

7. 矩阵学习问题

1）因为有两个优化对象，可以考虑像kmeans那样，固定一个，然后优化另一个；固定另一个，然后优化一个

2）这种方法要被称为交替的最小二乘

3）具体过程

8. 矩阵分解与线性自动编码机

9. 原因是每次更新一行和一列

10. 使用SGD解矩阵分解（更常用）

在大规模矩阵中非常有效率。

11. 比赛中数据是有时间的，越新的数据对预测的影响越大，那么怎么把这个信息引入?

SGD最后搜寻的是数百个点，这数百个点对模型最后的效果影响很大。那么不用随机梯度下降了，而是越往后遇到越新的点的概率更高。

12. extraction model：

1）抽取特征

2）赋予权重

13. extraction model的优缺点：

1）优点：

a. 自动抽取特征

b. 能抽取足够强的特征

2）缺点：

a. 是非凸的最优化问题，容易陷入局部最优解

b. 容易过拟合