深度学习笔记NLP\RNN

文本分类概述（NLP）

浅拷贝与深拷贝

one-hot encoding 对应官方文档

共享数据

BRNN：双向神经网络

mang-to-many : x ， y个数相同

情感分析： x=text,y=0/1 ----1~5star many-to-one

one -to-one

one-to-many 音乐生成，音乐类型或者输入音符，输出一段音乐。

m-to-n 机器翻译

注意力结构模型

语言模型the apple and pair/pear salad 语音识别，机器翻译 one-hot

建立概率模型，不针对无语料库字符

基于字符的语言模型，输出不是词汇，单独字符组成，优点：未知不担心。缺：太多太长序列，捕捉句子依赖关系不能捕捉长范围依赖关系；算力昂贵

基于词汇的语音模型

梯度消失：基础rnn模型

cat were cats

100层 后层很难影响前权重反向传播；不管很难处理长期依赖

梯度爆炸，网络参数崩溃，很容易发现，NAN或者不是数字，数值溢出：梯度修剪，大于阈值，缩放，比较鲁棒，梯度爆炸解决问题

梯度消失，层太多…

梯度消失 GRU 捕获更长的长期依赖 改变RNN隐藏层

softmax软化单元

c =memory cell 记忆细胞

c^t等于at激活值，

gamma u门值 c更新记忆细胞值，gamma是否更新，猫饱了忘记

gamma f LSTM

GRU容易构建大网络，快

LSTM更强大，更优先

BRNN双向神经网络

NLP问题，文本句子完整，有LSTM单元的双向RNN模型

前向和反向，预测任意位置，需要完整序列才能预测位置，语音模型：都说完

一般有更复杂的模型

获取整个句子

深层RNN，RNN三层就不少了，时间维度很大，上面加循环层