makerjj的博客

LSTM 全称：Long Short-Term Memory 长短期记忆网络 大致结构如图所示(不想用软件画图。。。)： 三个门已经在图中表示了出来。下面将逐步介绍。 图中最上面的C是最主要的传输流。 遗忘门： ft=δ(Wf⋅[ht−1,Xt])f_t = \delta(W_f\cdot[h_{t-1},X_t])ft​=δ(Wf​⋅[ht−1​,Xt​])(这里b放入了XtX_tXt​中)...

全称：Bidirectional Encoder Representations from Transformers，即双向 transformer的encoder 表示。 Embedding embedding 由 3 种 embedding 求和而成： Token Embeddings：词向量 Segment Embeddings：句向量 Position Embeddings：位置向量 P...