vir_lee的博客

文章目录1、Encoder-Decoder框架2、attention机制3、Transformer模型4、Bert模型1、Encoder-Decoder框架知乎：一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq深度学习笔记(六)：Encoder-Decoder模型和Attention模型2、attention机制attention经典论文：《Effective Approaches to Attention-based Neural Machine Tran

文章目录一、分类问题1. 0-1损失函数(zero-one loss)2. Hinge 损失函数3. log对数损失函数4. Logistic损失5. 交叉熵损失函数 (Cross-entropy loss function)二、回归问题1. 绝对值损失函数2. 平方损失函数3. Huber损失损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别

参考文章：1. 神经网络中的softmax层为何可以解决分类问题——softmax前世今生系列(3)2. softmax函数的正推原理——softmax前世今生系列(1)文章目录1、softmax模型原理2、使用场景1、softmax模型原理Logistic模型只适合处理二分类问题，且在给出分类结果的同时还会给出结果的概率值。那么对于多分类问题，如果想要用类似的方法，输出分类结果的同时还给出概率，则可以使用softmax模型。softmax公式如下：softmax=eni∑j=1kejnso

1、RNN1、RNN的原理2、LSTM1、RNN的原理在使用深度学习处理时序数据时，RNN是经常用到的模型之一。RNN之所以在时序数据上有着优异的表现是因为RNN在 ttt 时间片时会将t−1t-1t−1时间片的隐节点作为当前时间片的输入。这样有效的原因是之前时间片的信息也用于计算当前时间片的内容，而传统DNN模型的隐节点的输出只取决于当前时间片的输入特征。，RNN结构如下图：图1：RNN结构图展开细节如下：图2：RNN时间线展开图其中U,V,WU,V,WU,V,W为参数矩阵，公式如