<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[knight的博客]]></title><description><![CDATA[NLP]]></description><link>https://blog.youkuaiyun.com/u012852385</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u012852385]]></copyright><item><title><![CDATA[Deep Neural Networks for YouTube Recommendation]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/152952999</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/152952999</guid><author>u012852385</author><pubDate>Fri, 10 Oct 2025 21:16:31 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Beam Search搜索和topk采样优缺点]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/127418460</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/127418460</guid><author>u012852385</author><pubDate>Wed, 19 Oct 2022 23:55:06 +0800</pubDate><description><![CDATA[seq2seq任务中两种搜索算法的优缺点]]></description><category></category></item><item><title><![CDATA[对比学习论文汇总]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/119798478</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/119798478</guid><author>u012852385</author><pubDate>Thu, 19 Aug 2021 11:40:59 +0800</pubDate><description><![CDATA[这里写自定义目录标题1、SimCSE: Simple Contrastive Learning of Sentence Embeddings
1、SimCSE: Simple Contrastive Learning of Sentence Embeddings

论文：https://arxiv.org/pdf/2104.08821.pdf
code: https://github.com/princeton-nlp/SimCSE
思想：


...]]></description><category></category></item><item><title><![CDATA[经典推荐算法]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/118380999</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/118380999</guid><author>u012852385</author><pubDate>Thu, 01 Jul 2021 11:04:51 +0800</pubDate><description><![CDATA[一、DIN
论文：Deep Interest Network for Click-Through Rate Prediction
作者：阿里妈妈
1、贡献
任务可以抽象为分类问题，输入是用户历史行为数据（点击，加入购物车等行为）和待预测商品，输出是用户点击该商品的概率。

利用了用户兴趣多样性以及当前候选商品仅与用户一部分兴趣有关这一特点，引入了attention机制。
工程优化上，引入了GAUC度量指标、Dice激活函数、自适应正则技术

2、模型
如下，右边就是DIN网络（深度兴趣网络），base 方案]]></description><category></category></item><item><title><![CDATA[HMM & CRF]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/116202789</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/116202789</guid><author>u012852385</author><pubDate>Tue, 27 Apr 2021 15:44:06 +0800</pubDate><description><![CDATA[主要介绍HMM和CRF在序列标注问题中的应用。

]]></description><category></category></item><item><title><![CDATA[激活函数]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/115544727</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/115544727</guid><author>u012852385</author><pubDate>Fri, 09 Apr 2021 12:45:33 +0800</pubDate><description><![CDATA[一、gelu
论文：Gaussian Error Linear Units (GELUs)
公式：f(x) = xΦ(x)
其中Φ(x)表示高斯分布函数（是面积，不是概率密度），这样写是因为一般模型的参数是符合正太分布的，这样越小的参数越可能被dropout掉
实际使用时的近似公式（bert）：
tf代码： 0.5x * (1.0 + tf.tanh((np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
原理解释：

引入非线性，该激活函数是根据输入值]]></description><category></category></item><item><title><![CDATA[预训练模型]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/115542081</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/115542081</guid><author>u012852385</author><pubDate>Fri, 09 Apr 2021 11:44:47 +0800</pubDate><description><![CDATA[一、bert
论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
代码：https://github.com/google-research/bert
作者：google
1、贡献
提出一种双向语言模型，基于该预训练模型finetune后在各下游任务取得sota效果。
模型结构图如下，包括两个任务，一个是MLM(mask language model)，另一个是NSP任务(next sente]]></description><category></category></item><item><title><![CDATA[MSE Loss，MAE Loss, 交叉熵 Loss的统计意义]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/111703649</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/111703649</guid><author>u012852385</author><pubDate>Fri, 25 Dec 2020 20:25:12 +0800</pubDate><description><![CDATA[MSE loss和MAE Loss经常用在回归问题。

对于MSE Loss，如果相同的样本存在不同的label值（比如同一句话在不同场景下满意度可能是不同的），当预测值取这些样本label的平均值时，loss最小。这可以通过对loss对导数得到。
对于MAE Loss，这是统计学中的『最小一乘线性回归』问题，如果相同的样本存在不同的label值，那么预测值取这些样本的label的中位数时候，loss最小。可以假定loss最小时，预测值 不是中位数，证明这个时候loss比中位数的loss大就行。
对于交叉熵]]></description><category></category></item><item><title><![CDATA[文本分类：[google]PRADO: Projection Attention Networks for Document Classification On-Device]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/109263550</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/109263550</guid><author>u012852385</author><pubDate>Sat, 24 Oct 2020 18:20:55 +0800</pubDate><description><![CDATA[可以参考对textcnn的改进点：每个kernel使用两只cnn，其中一只作为softmax计算另一支的attention，取代textcnn的max-pool


]]></description><category></category></item><item><title><![CDATA[深度特征工程：[google]DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/109197384</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/109197384</guid><author>u012852385</author><pubDate>Wed, 21 Oct 2020 11:51:17 +0800</pubDate><description><![CDATA[参考：https://mp.weixin.qq.com/s/0qidwbxyfTkODTw2DIiRWw
代码
1、贡献
DNN在特征交叉学习上比较低效，DCN[1]可以高效的学习高阶的特征交叉，本文在DCN的基础上，提出一种改良版的DCN-M模型。
2、回顾DCN的结构

图中输入包括连续特征和向量, 模型分两支，一是DNN模型，一是Cross Net，最终两者的输出concat一起经过FFN输出。
CrossNet的公式如下：

公式的矩阵显示是：

式中w和b都是d维向量，因此每增加一层增加2d个参数]]></description><category></category></item><item><title><![CDATA[多任务学习：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/109068196</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/109068196</guid><author>u012852385</author><pubDate>Wed, 14 Oct 2020 11:01:27 +0800</pubDate><description><![CDATA[出处：[腾讯]RecSys2020最佳长论文
参考：https://mp.weixin.qq.com/s/IEtlu2AhvwI-W6lZY1j4NQ
论文贡献
论文对多任务学习方向，多个任务在NN模型中的架构形式做了探索。具体分为单层和多层两种结构，单层的几种结构如下：


...]]></description><category></category></item><item><title><![CDATA[《Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms》]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/106491047</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/106491047</guid><author>u012852385</author><pubDate>Tue, 02 Jun 2020 10:58:12 +0800</pubDate><description><![CDATA[出处： ACL2018
1. 贡献
本文提出在词向量上进行简单的池化操作在文本分类/匹配任务上就可以得到跟CNN/RNN相当的效果。
2. 方案

1） SWEM-aver：整个句子的信息
)
2）SWEM-max：突出特征
)
3）拼接SWEM-aver和SWEM-max
4 SWEM-hier（层次化）
最大和平均池化没有考虑词序，这里引入层次化pooling。先作固定窗口的平均pooling，得到k个向量，然后对这k个向量做max-pooling。

3. 解释
SWEM-max和glove的各个纬度]]></description><category></category></item><item><title><![CDATA[《Dynamic routing between capsules》]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/104349052</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/104349052</guid><author>u012852385</author><pubDate>Sat, 22 Feb 2020 21:08:50 +0800</pubDate><description><![CDATA[paper：《Dynamic routing between capsules》
出处： NIPS 2017
作者：Hinton
一、摘要

]]></description><category></category></item><item><title><![CDATA[《Joint Slot Filling and Intent Detection via Capsule Neural Networks》]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/104346304</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/104346304</guid><author>u012852385</author><pubDate>Sun, 16 Feb 2020 21:14:52 +0800</pubDate><description><![CDATA[出处：ACL 2019
一、摘要
之前对于槽位填充和意图检测的工作都是将两者分开进行的，即使有同时进行的，也没有明显考虑word、slot和intent的层级关系。因此作者基于胶囊网络，提出一种带有重路由功能动态路由机制来联合进行槽位填充和意图检测工作。
二、方法

...]]></description><category></category></item><item><title><![CDATA[《Semantically Conditioned Dialog Response Generation via Hierarchical Disentangled Self-Attention》]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/104327777</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/104327777</guid><author>u012852385</author><pubDate>Sun, 16 Feb 2020 11:32:09 +0800</pubDate><description><![CDATA[来源：ACL 2019
代码：https://github.com/wenhuchen/HDSA-Dialog
摘要
基于pipeline的任务型对话系统可以拆解成以下四个部分，其中NLU为意图槽位理解，DST为对话历史并能根据当前用户query更新状态，Policy learning为根据用户需求判断下一步action（也就是论文中提到的dialog act），NLG为对话生成。本论文目标是提高...]]></description><category></category></item><item><title><![CDATA[语料列表]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/104334331</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/104334331</guid><author>u012852385</author><pubDate>Sat, 15 Feb 2020 20:52:09 +0800</pubDate><description><![CDATA[MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling
出处：EMNLP 2018
描述：来自"绿野仙踪"的对话语料
下载地址：http://dialogue.mi.eng.cam.ac.uk/ index.php/corpus/


...]]></description><category></category></item><item><title><![CDATA[Efficient Large-Scale Neural Domain Classification with Personalized Attention]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/104050337</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/104050337</guid><author>u012852385</author><pubDate>Mon, 20 Jan 2020 13:14:20 +0800</pubDate><description><![CDATA[出处：ACL 2018
摘要
论文探索了在智能个人数字助理领域（IPDA）将用户口语输入映射到domain这个任务。主流的IPDA有很多第三方开发的domain，这在第一方domain的基础上大大提高了domain的丰富度。论文提出一种可以共享编码器且融合注意力机制的神经网络模型来解决这个问题，模型融合了个性化信息，并且可以高效适应不断增长的第三方domain，比完全重训取得量级上的加速。论文参照...]]></description><category></category></item><item><title><![CDATA[c++盲点]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/103327333</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/103327333</guid><author>u012852385</author><pubDate>Sat, 30 Nov 2019 18:03:22 +0800</pubDate><description><![CDATA[基于C++ 11
1.将vector转换为set
	std::set&lt;std::string&gt; my_set(my_vector.start(), my_vector.end())

2. 将一个vector添加到另一个vector末尾
	std::vector&lt;int&gt; src;
	std::vector&lt;int&gt; dst;
	dst.insert(dst.e...]]></description><category></category></item><item><title><![CDATA[tensorflow知识点]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/103296943</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/103296943</guid><author>u012852385</author><pubDate>Thu, 28 Nov 2019 16:57:37 +0800</pubDate><description><![CDATA[expand_dims(tensor, dim=2) # 扩展纬度



]]></description><category></category></item><item><title><![CDATA[《Proactive Human-Machine Conversation with Explicit Conversation Goals》]]></title><link>https://blog.youkuaiyun.com/u012852385/article/details/103208720</link><guid>https://blog.youkuaiyun.com/u012852385/article/details/103208720</guid><author>u012852385</author><pubDate>Fri, 22 Nov 2019 23:11:08 +0800</pubDate><description><![CDATA[论文出处：ACL 2019
1. 摘要
论文提出了一种基于知识图谱能主导对话的对话系统，并开源了对应的数据集DuConv。该数据集涉及电影、导演和演员相关题材，包含3w个多轮对话，约27w个句子。每个对话包含一个目标三元组[START, TOPIC_A, TOPIC_B]，表示系统的目标是将对话主题从A引导到B；另外包括一系列跟TOPIC_A或者TOPIC_B有关的知识三元组，形式为（主体，谓词，...]]></description><category></category></item></channel></rss>