RNN、LSTM、Seq2Seq模型以及Atttention机制

1、生成类聊天机器人特点

2、RNN LSTM语言模型

2.1 语言模型

自然语言处理 （NLP）领域的一个核心技术，它的主要任务是对自然语言序列进行概率建模。 简单来说，语言模型就是用来计算一个句子或者一段文本在某种语言中出现的概率。 这个概率可以帮助我们理解和预测自然语言的生成规律，从而在各种NLP任务中发挥关键作用，如机器翻译、语音识别、文本生成等。

2.2语言模型的计算

2.3语言模型的应用

• 语音识别
• 机器翻译
• 句法分析
• 短语标注
• 手写体识别
• 拼写纠错

2.4语言模型的方法

• 基于统计学习的（N——gram）
• 基于机器学习和深度学习的（机器学习：svm等，深度学习：RNN,LSTM等）
  
  
  RNN存在的问题：
• 梯度消息
• 梯度爆炸
  
  RNN处理序列的类型根据输入和输出的数量，有四种类型。绿色是输入，蓝色是输出，灰色是隐藏层，可捕捉序列前后的信息；并不是每一步都需要输入或者输出，但是隐藏层是不可少的。

同步序列中，Many to many 多对多，输入和输出的数量相同，可用在词性标注，输入一个句子，输出句中每个词的词性；Many to one 多对一，文本的情感分析，输入一句话，输出这句话表达的情绪是积极还是消极。

非同步序列中，Many to many 多对多，可被用作机器翻译，即输入一种语言的文字，输出另外一种语言的文字；One to many，一对多，输入一张图片，输出对于图片内容的描述。

双向RNN考虑上下文。