h2728677716的博客

NLG：自然语言生成我们在做完train训练之后，需要对测试数据集进行测试，也就是NLG的过程。Greed Search（贪婪Search）：做法：我们在训练好模型后，seq2seq的Decoder做预测的过程中，从<start>的标签开始输入， 预测出最大的概率对应的词，作为decoder下一步的输入,输入后再次预测一个最大概率的词，再将这个词作为下个步骤的输入，依次循环下去直到，最后输出<end>，代表这句话预测结束。Greed Search

# vocab_size:词表数量# embedding_dim: 词嵌入后维度tf.keras.layers.Embedding(vocab_size, embedding_dim)假设有一句话，I love youvocab_size：我们传入的词表大小是1000，embedding_dim：embedding后的维度256。先将 I love you 这三个词对应的索引(1行3列)传入Embedding层那么embedding会先将这1行三列的索引转换成One-hot编码.

RNN不同的拓扑结构对应不同应用场景。many to many也就是我们所说的seq2seq中间RNN结构，下面的输入相当于encoder编码上面的输出相当于decoder解码这种结构下面全都是要输入的，上面也都是要输出的，只是我们没有画出来，没有画出来的输出我们不会真正用到Attention注意力机制举例：比如我们在做机器翻译的时候，我们希望他会有重点的进行翻译。基于Encoder-Decoder框架1.两层RNN链，左边蓝色的是Encoder,右边黄色

为什么为需要循环神经网络？像DNN这样的神经网络，前一个输入和后一个输入是完全没有关系的，但是某一些任务需要能够更好的处理序列信息（即前面的输入和后面的输入是有关系的）比如理解一句话的意思时，孤立的理解每个词是不够的，我们需要去处理这些词连接起来的整个序列。我们一般的做法是用word2vec将词变成向量，再将其传给RNN进行处理。RNN网络结构1.RNN有N个时刻的输入，每个输入就相当于每个词的向量。2.输入经过一个U矩阵全连接，经过隐藏层加和，非线性变换。在经过一个V矩

常见的语言模型：N-gram,决策树，最大熵模型，隐马尔可夫模型，条件随机场，神经网络等N-gram语言模型是自然语言处理中一个重要的概念，基于一定的语料库，可以利用n-gram来做以下事情1.预计和评估一个句子是否合理2.评估两个字符串之间的差异程度，这也是模糊匹配中常用手段3.语音识别4.机器翻译5.文本分类介绍：根据条件概率公式由于要计算wi出现的概率，就要统计前i-1个词出现的情况，假设词库中有n个词，就有n^(i-1)种可能，这样没增加一个单词，