- 博客(4)
- 收藏
- 关注
原创 基于transformer实现机器翻译
Transformer是一种用于自然语言处理(NLP)任务的深度学习模型架构,由Vaswani等人在2017年提出。它通过完全依赖于注意力机制而非传统的循环神经网络(RNN)或卷积神经网络(CNN),在多个NLP任务上取得了显著的成功。
2024-06-22 16:37:36
2198
原创 机器翻译实现
带有注意力机制的编码器-解码器(Encoder-Decoder with Attention)是一种常用于机器翻译等任务的深度学习模型结构。它通过编码器将输入序列编码成一个语义表示,并通过解码器将这个语义表示解码成目标序列。同时,注意力机制可以帮助模型在解码时更好地关注输入序列中与当前位置相关的部分,提升翻译的准确性和流畅性。
2024-06-22 15:56:39
2385
原创 使用前馈神经网络进行姓氏分类
多层感知机是由多个感知机(Perceptron)组成的神经网络,每个感知机在一个层中接受输入并输出到下一层的感知机。每个感知机实际上是一个带有激活函数的线性变换。多层感知器(MLP)被认为是最基本的神经网络构建模块之一。感知器将数据向量作为输入,计算出一个输出值。在MLP中,许多感知器被分组,以便单个层的输出是一个新的向量,而不是单个输出值。
2024-06-16 15:47:01
1467
原创 神经网络基础组件
激活函数是神经网络中的一种数学函数,用于对神经元的输入进行非线性变换,并产生相应的输出。(3)激活函数(Activation Function):激活函数会对感知器的激活值进行处理,产生一个输出值。增强大的值:Softmax函数会增强大的输入值,抑制小的输入值,使得最大的值更接近1,最小的 值更接近0。形状: ReLU函数的图像在输入大于或等于0时是一个45度的直线,而在输入小于0时是水平的。计算简便: 由于ReLU的计算是一个简单的阈值操作,它的计算量非常小,使得训练速度更快。
2024-06-16 13:36:46
640
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人