Nana_Oyang的博客

让机器具备找函数的能力。带有未知参数的函数x：feature，b、w未知参数loss也是一个函数，输入变为b、w损失：一组值的好坏。表达式MAE与MSE取均值这只是一个概述。

在自注意力中，查询、键和值都来自同一组输入。卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。

具体地说，给定标签序列A、B、C、D、E、F 和预测序列A、B、B、C、D，我们有p1 = 4/5、p2 = 3/4、p3 = 1/3和p4 = 0。另外，用pn表示n元语法的精确度，它是两个数量的比值：第一个是预测序列与标签序列中匹配的n元语法的数量，第二个是预测序列中n元语法的数量的比率。其中lenlabel表示标签序列中的词元数和 lenpred表示预测序列中的词元数，k是用于匹配的最长的n元语法。• BLEU是一种常用的评估方法，它通过测量预测序列和标签序列之间的n元语法的匹配度来评估预测。

• “编码器－解码器”架构可以将长度可变的序列作为输入和输出，因此适用于机器翻译等序列转换问题。• 编码器将长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。• 解码器将具有固定形状的编码状态映射为长度可变的序列。

根据可获得的信息量，我们可以用不同的词填空，如“很高兴”（“happy”）、“不”（“not”）和“非常”（“very”）。很明显，每个短语的“下文”传达了重要信息（如果有的话），而这些信息关乎到选择哪个词来填空，所以无法利用这一点的序列模型将在相关任务上表现不佳。我们考虑以下三个在文本序列中填空的任务。• 我___饿了，我可以吃半头猪。

• 有许多不同风格的深度循环神经网络，如长短期记忆网络、门控循环单元、或经典循环神经网络。• 总体而言，深度循环神经网络需要大量的调参（如学习率和修剪）来确保合适的收敛，模型的初始化也。• 在深度循环神经网络中，隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。我们可以将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。模型在深度学习框架的高级API中都有涵盖。

提示：概要。

重置门打开时，门控循环单元包含基本循环神经网络；更新门打开时，门控循环单元可以跳过子序列。门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。重置门有助于捕获序列中的短期依赖关系。更新门有助于捕获序列中的长期依赖关系。

一个更好的语言模型应该能让我们更准确地预测下一个词元。

语言模型的目标是估计联合概率。

动手学深度学习v2 ------ 沐神

动手学深度学习v2

动手学深度学习v2 ------ 沐神

动手学深度学习v2 ------ 沐神

动手学深度学习v2 ------ 沐神

动手学深度学习v2 ------ 沐神

这是吴恩达佬团队在Coursera新开设的机器学习课程

吴恩达佬团队在Coursera新开设的机器学习课程笔记

吴恩达佬团队在Coursera新开设的机器学习课程