[公开课笔记]线性autoencoder和FM的关系

autoencoder概念

weights:是一种特征变换.也就是”编码”
好的weights:information preserving encoding (保留原始信息的编码)
information preserving: 编码后,可以精确的解码
结论:pre-traing目标要是information preserving encoding

基本的autoencoder: $d-d^{'}-d$网络,损失函数是$\sum_{i=1}^{d}(g_i(x)-x_i)$,从这个式子可以看出,关于i维的损失,和非i维也有关系.
有些情况下,为了正则化,会要求$w_{ij}^{(1)}=w_{ji}^{(2)}$

去噪AE

主成分分析

重要概念

线性AE: $g_k(x)=\sum_{j=0} ^{d^{'}}w_{ij} \sum_{i=1}^{d}w_{ji}x_i$
注意,做了简化,没有tanh
也就是:$h(x) = WW^Tx$

线性AE和MF的关系

x	线性AE	MF
公式	$X\approx W(W^tX)$	$X \approx UI$