weixin_47707533的博客

LSTM——起源、思想、结构 与“门”完全图解RNN、RNN变体、Seq2Seq、Attention机制完全解析RNN, Seq2Seq, Attention注意力机制Sequence to sequence入门详解:从RNN, LSTM到Encoder-Decoder, Attention, transformer从RNN到Attention到Transformer系列-Attention介绍及代码实现。

目前的学习输入都可以看成一个向量，大小一样，无论是Youtube预测观看人数，还是影像处理。如果我们的输入是一排向量（序列），而且向量的数目还是可以改变的呢？Example1：文字处理向量集作为输入句子的长度不一样，你的向量集大小就不一样。怎么把词变成向量呢？one-hot encoding，最简单的但存在一个严重的问题，他假设所有词汇彼此之间都没有关系Example2：语音处理。

为了有效的计算梯度，我们使用反向传播。给定一组neural network参数θ\thetaθ， 我们把一个training dataxnx^nxn带到neural network输出一个yny^nyn，同时我们希望neural network输出yn\hat{y}^ny​n（target）。我们定义yny^nyn和yn\hat{y}^ny​n距离的Function写作CnC^nCnCnC^nCn大，loss大，这组参数不好。

李宏毅课程总结。

对李宏毅2022年机器学习课程的记录-机器学习概括

本文主要介绍批量梯度下降与相关代码。主要流程：计算梯度，批量累计求和，更新参数，计算前后迭代损失差，看是否小于阈值，True则break，False更新当前error并进入下一轮循环。