Ezra521的博客

多任务学习优化1、多任务学习模型对于多任务的loss，最简单的方式是直接将这两个任务的loss直接相加，得到整体的loss，那么loss函数为：L=∑Li(1.1)L=\sum L_i \tag{1.1}L=∑Li​(1.1)在这里，模型的整体 loss 是所有子任务的 loss 之和。这种 loss 计算方式的不合理之处是显而易见的，不同任务 loss 的量级很有可能不一样， loss 直接相加的方式有可能会导致多任务的学习被某个任务所主导或学偏。当模型倾向于去拟合某个任务时，其他任务的效果

优化器TensorFlow的优化类主要有以下几个：GradientDescentOptimizer：最普通的批量梯度下降，令学习速率为η\etaη，ttt代表本次迭代，t+1t+1t+1代表下次迭代，则梯度迭代公式如下：θ????+1=θ????−η∂l(θ)∂θ\theta_{????+1}=\theta_????−\eta\frac{\partial l(\theta)}{\partial \theta}θt+1​=θt​−η∂θ∂l(θ)​AdagradOptimizer：进行参数迭代

一、AUC含义首先，在试图弄懂AUC和ROC曲线之前，首先要彻底理解混淆矩阵的定义！混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：称预测类别为1的为Positive（阳性），预测类别为0的为Negative（阴性）。预测正确的为True（真），预测错误的为False（伪）。对上述概念进行组合，就产生了如下的混淆矩阵：然后，由此引出True Positive Rate（真阳率）、False Positive（伪阳率）两个概念：TPRate=TPT

word2vec博客简书word2vec博客具体参数求解推导1.什么是word2vec如果用一句比较简单的话来总结，word2vec是用一个一层的神经网络(即CBOW)把one-hot形式的稀疏词向量映射称为一个n维(n一般为几百)的稠密向量的过程。在 NLP 中，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的『语言模型』...

凝固度和自由度提取关键词参考文献1.凝固度概念含义：一个字组合片段里面字与字之间的紧密程度。比如“琉璃”、“榴莲”这样的词的凝固度就非常高，而“华为”、“组合”这样的词的凝固度就不是很高。比如：我们抽取一段文字中的某一个词，怎么才能断定它是一个词呢，通常我们使用频次来断定一段文字是否是词。但是2400万的语料中“的电影”出现389次“电影院”出现175次“电影院”的凝固度要大...