- 博客(3)
- 收藏
- 关注
RSS订阅原创 NLP_基于transformer的翻译
与英语或其他字母语言不同，日语句子不包含空格来分隔单词。我们可以使用JParaCrawl提供的分词器。可以访问JParaCrawl网站来下载它们。
2024-06-30 00:12:20
257
原创 NLP_机器翻译
例如，在输出序列的时间步1，解码器可以主要依赖“They”“are”的信息来生成“Ils”，在时间步2则主要使用来自“watching”的编码信息生成“regardent”，最后在时间步3则直接映射句号“.”。首先，函数𝑎根据解码器在时间步1的隐藏状态和编码器在各个时间步的隐藏状态计算softmax运算的输入。输出层的输出个数为1。以门控循环单元为例，在解码器中我们可以对门控循环单元（GRU）中门控循环单元的设计稍作修改，从而变换上一时间步的输出，隐藏状态，和当前时间步的含注意力机制的背景变量。
2024-06-29 23:59:18
615
原创 NLP_前馈神经网络
在MLP中，许多感知器被分组，以便单个层的输出是一个新的向量，而不是单个输出值。其中X代表输入，W是权重 b是偏置，f是激活函数，权重和偏置是网络从数据中学习，激活函数是在训练前定义，如sigmod、tanh和relu、softmax函数。使用感知机实现简单的二分类任务，是可以实现的，但是感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式。卷积运算(线性算子)的精确数学表达式对于理解这一节并不重要，但是从这个图中可以直观地看出，核是一个小的方阵，它被系统地应用于输入矩阵的不同位置。
2024-06-29 23:35:13
976
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人