brawly的博客

BERT（预训练Transformer模型）

从Attention层到Transformer网络

Transformer Model：Attention without RNN

Self-Attention（自注意力机制）

Attention（注意力机制）

机器翻译：多对多的问题，输入和输出的长度都不固定

文章目录一、Example（案例）二、Train an RNN for Text Prediction三、Training a Text Generator（训练文本生成器）—模型训练3.1 Prepare Training Data（准备训练数据）3.2 Character to Vector（字符变为向量）3.3 Build a Neural Network（设计一个神经网络）3.4 Train the Neural Network（训练神经网络）四、Text Generation（文本生成）4.1 P

文章目录一、Stacked RNN（多层RNN）二、Bidirectional RNN（双向RNN）三、Pretrain（预训练）3.1 Pretrain the Embedding Layer四、Summary（总结）一、Stacked RNN（多层RNN）from keras.models import Sequentialfrom keras.layers import LSTM,Embedding,Dense# 设置超参数vocabulary = 10000 # 词典里面有1000

文章目录一、LSTM核心思想1.1 Conveyor Belt（传输带）二、LSTM分布指南2.1 Forget Gate（遗忘门）2.2 Input Gate（输入门）2.3 New value（新的值）2.4 Output gate（输出门）三、LSTM: Number of Parameters（参数数量）四、LSTM for IMDB Review五、Summary（总结）一、LSTM核心思想LSTM是一种RNN模型LSTM是对简单循环神经网络的改进LSTM可以避免梯度消失的问题，可以有更

一、How to model sequential data?（怎样对时序数据建模）1.1 one to one模型one to one模型：一个输入对应一个输出。包括：全连接神经网络和卷积神经网络。人脑并不需要one to one模型来处理时序数据，并不会把一整段文字直接输入大脑。整体处理一个段落。固定大小的输入（例如图像）。固定大小的输出（例如，预测概率）。1.2 many to one模型RNNs对于输入和输出的长度都不需要固定RNNs适合文本，语音，时序序列数据更新状态向量

文章目录一、前提二、Text to Sequence（文本处理）1.1 Tokenization（分词）1.2 Build Dictionary（建立一个字典）1.3 One-Hot Encoding1.4 Align Sequences（对齐序列）三、Word Embedding: Word to Vector（词嵌入：把单词表示成低维向量）2.1 One-Hot Encoding（one-hot 编码）2.2 Word Embedding（词嵌入）四、Logistic Regression for Bi