推荐系统与深度学习-学习笔记一

仅供学习使用
《推荐系统与深度学习》，黄昕等，清华大学出版社

2.2.3 反向传播

链式法则

2.2.4 优化算法

2.2.4.1 网络参数初始化

• 高斯分布初始化

• 均匀分布初始化

• Xavier初始化

2.2.4.2 学习率的选择

• 模拟退火算法
  – 反向衰减学习率
  $$\theta (t)=\frac{{\eta }_0}{1+t\cdot \gamma }$$
  ${\eta }_0$是初始学习率，$\gamma$是衰减系数，$t$是迭代次数
  – 指数衰减学习率
  $$\theta (t)=\frac{{\eta }_0}{exp(t\cdot \gamma )}$$
• 动量方法
• RMSprop
• 自适应矩估计

2.3 卷积神经网络

卷积层、池化层
常见网络结构：

• LeNet-5 1998， LeCun
• AlexNet 2012，Hinton

2.4 循环神经网络

$$h_t=tanh(W_{hh}{h}_{t-1}+W_{xh}{x}_t+b_h)$$
$$z_t=softmax(W_{hz}{h}_t+b_z)$$

2.4.1 时序反向传播算法

• 梯度消失
• 梯度爆炸

2.4.2长短时记忆网络

LSTM 2009

2.5 生成对抗

无监督学习

2.5.1 对抗博弈

2.5.3 常见的生成对抗网络

• CGAN
• DCGAN
• GGAN
• SeqGAN