<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Facico的博客]]></title><description><![CDATA[程序员之所以犯错误，不是因为他们不懂，而是因为他们自以为什么都懂。]]></description><link>https://blog.youkuaiyun.com/doyouseeman</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; doyouseeman]]></copyright><item><title><![CDATA[A Large-Scale Chinese Short-Text Conversation Dataset]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/119299059</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/119299059</guid><author>doyouseeman</author><pubDate>Sun, 01 Aug 2021 17:07:25 +0800</pubDate><description><![CDATA[A Large-Scale Chinese Short-Text Conversation Dataset

大型中文短文本对话数据集

提供已清洗中文对话数据集LCCC，有base、large版本
所有模型和数据https://github.com/thu-coai/CDial-GPT
数据集
采用了推特、Reddit、微博以及技术论坛等社交媒体来建立语料库。

公开的资源语料库非常丰富的，但也包含了许多噪音点，这些噪音点需要处理。

通过众包资源来构建高质量的对话数据集，服务于更高级的对话任务

如维基]]></description><category></category></item><item><title><![CDATA[Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/118918909</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/118918909</guid><author>doyouseeman</author><pubDate>Tue, 20 Jul 2021 13:33:23 +0800</pubDate><description><![CDATA[Approximate Nearest Neighbor Negative ContrastiveLearning for Dense Text Retrieval
密集检索 (DR) 的有效性通常需要与稀疏检索相结合

主要瓶颈在训练机制，训练中使用的负面实例不能代表不相关文档
本文介绍最邻近负对比估计(ANCE)：从语料库的最邻近(ANN)索引构造负样本的计件制，该索引与学习过程并行更新以选择更真实的负样本（这种方式从根本上解决了DR训练和测试中数据分布间的差异）

实验中，ANCE提升了BERT-Si]]></description><category></category></item><item><title><![CDATA[Dense Passage Retrieval for Open-Domain Question Answering]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/118861948</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/118861948</guid><author>doyouseeman</author><pubDate>Tue, 20 Jul 2021 00:21:56 +0800</pubDate><description><![CDATA[Dense Passage Retrieval for Open-Domain Question Answering
段落检索是open domian QA的重要问题

传统方法是使用稀疏向量空间模型，如TF-IDF或BM25
本文重点研究室是密集向量空间模型，密集表示采用简单的双层编码器框架，同时采用了非常少的问题和段落对

传统检索器的问题

传统检索器不能很好匹配语义关系，只能关键词匹配
而密集向量检索器通过语义训练，可以更好捕获语义信息


...]]></description><category></category></item><item><title><![CDATA[Understanding the Behaviors of BERT in Ranking]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/118861194</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/118861194</guid><author>doyouseeman</author><pubDate>Sat, 17 Jul 2021 20:13:55 +0800</pubDate><description><![CDATA[Understanding the Behaviors of BERT in Ranking
该文章主要是研究BERT在passage re-ranking任务上的效果
数据集
MS MARCO数据集：QA问答数据集，从Bing上的用户搜索日志中的一些query，以及对应的一些候选passage。该任务的要求便是从候选的passage中选择能够回答该query的正确passage，包含一百多万个query和一百多万个passage。ClueWeb数据集类似
四种基于BERT的模型


1.BERT（Rep）]]></description><category></category></item><item><title><![CDATA[Passage Re-ranking with BERT]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/118860939</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/118860939</guid><author>doyouseeman</author><pubDate>Sat, 17 Jul 2021 19:05:49 +0800</pubDate><description><![CDATA[Passage Re-ranking with BERT
task
有一个给定的问题，要给出答案分三个阶段
1、通过一个标准的机制从语料库中见多大量可能与给定相关的文档
2、passage re-ranking：对这些文档打分并重paixu
3、分数前几的（前10、或前15等）的文档将会是这个问题答案的来源，用答案生成模型产出答案
这篇论文主要是研究第二个阶段
方法
要做的工作即是：对于一个询问qqq，一个候选文章did_idi​，给出一个分数sis_isi​

询问为句子A，限制在64个token内
文章]]></description><category></category></item><item><title><![CDATA[TransE：Translating Embeddings for Modeling Multi-relational Data]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/117651586</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/117651586</guid><author>doyouseeman</author><pubDate>Mon, 07 Jun 2021 11:03:51 +0800</pubDate><description><![CDATA[Translating Embeddings for Modeling Multi-relational Data

目的即知识图谱提取成向量

知识图谱三元组

一般形式（sub，rel，obj）

如：(Barack Obama, place of birth, Hawai)，这个关系就是Hawai是Barack Obama的place of birth
这只是三元组的一种形式，从属、包含、什么什么是什么等等关系都能变成三元组



类似词向量的构建，这里希望将KG（knowledge graph）中的]]></description><category></category></item><item><title><![CDATA[GCN与文本分类Graph Convolutional Networks for Text Classification]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/117434220</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/117434220</guid><author>doyouseeman</author><pubDate>Tue, 01 Jun 2021 09:14:55 +0800</pubDate><description><![CDATA[TextGCN
Graph Convolutional Networks for Text Classification
https://github.com/yao8839836/text_gcn?utm_source=catalyzex.com
属于把GCN用在NLP上的开山之作，构造比较简单，效果也不错，不过使用的是最简单的“频域卷积网络”，所以速度比价慢


不知道作者有没有试过简易的多项式的GCN核或切比雪夫网络

构造图
边权
Ai,j={PMI(i,j)i,j都是单词，PMI(i,j)&gt;]]></description><category></category></item><item><title><![CDATA[图卷积网络GCN]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/117338941</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/117338941</guid><author>doyouseeman</author><pubDate>Sun, 30 May 2021 09:56:00 +0800</pubDate><description><![CDATA[GCN

CNN中的卷积本质上就是共享参数的过滤器，可以较为有效地提取空间特征

而很多其他的研究中还有很多非欧拉结构的数据


1.CNN无法处理非欧拉结构的数据，传统的离散卷积在Non Euclidean Structure的数据上无法保持平移不变性
2.希望在拓扑图上有效地提取空间特征来进行机器学习
3.广义上来讲任何数据在赋范空间内都可以建立拓扑关联，因此GCN有很大的应用空间

提取拓扑图空间特征的两种方式


（1）vertex domain

把顶点相邻的点找出来
问题就变成：怎么确定相邻点，]]></description><category></category></item><item><title><![CDATA[DUMA: Reading Comprehension with Transposition Thinking]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/116118651</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/116118651</guid><author>doyouseeman</author><pubDate>Sun, 25 Apr 2021 11:11:20 +0800</pubDate><description><![CDATA[DUMA: Reading Comprehension with Transposition Thinking
验证了我看完DCMN+的猜想，将复杂的DCMN+的模型换上了attention



encoder接一个预训练模型
decoder来预测答案
两层之间加一个Dual Multi-head Co-Attention (DUMA) layer

Encoder
还是拼接
P=[p1,p2,...,pm],Q=[q1,q2,...,qn],A=[a1,a2,...,ak]E=Enc(P⊕Q⊕A)=[e]]></description><category></category></item><item><title><![CDATA[DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/115895926</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/115895926</guid><author>doyouseeman</author><pubDate>Tue, 20 Apr 2021 14:42:34 +0800</pubDate><description><![CDATA[DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
RACE数据集特点：答案可能不在给定的阅读材料中，这样需要模型更加深度地理解阅读材料

基于bert的以往做法：

把(question,choice)连在一起看成一个句子，然后和passage做匹配
缺点：

这样question和choice之间没有交互信息
上述流程相当于：先让passage和question做匹配，计算结果再和choice做匹配。但选项和问题应]]></description><category></category></item><item><title><![CDATA[A Probabilistic Formulation of Unsupervised Text Style Transfer]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/115689494</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/115689494</guid><author>doyouseeman</author><pubDate>Wed, 14 Apr 2021 10:00:53 +0800</pubDate><description><![CDATA[A Probabilistic Formulation of Unsupervised Text Style Transfer
无监督的问题转化
设X={x(1),x(2),…,x(m)}X=\{x^{(1)}, x^{(2)},\dots,x^{(m)}\}X={x(1),x(2),…,x(m)}是领域D1D_1D1​的数据，Y={y(m+1),y(m+2),…,y(n)}Y=\{y^{(m+1)}, y^{(m+2)},\dots,y^{(n)}\}Y={y(m+1),y(m+2),…,y(n)}是领域]]></description><category></category></item><item><title><![CDATA[IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/115656380</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/115656380</guid><author>doyouseeman</author><pubDate>Wed, 14 Apr 2021 08:14:13 +0800</pubDate><description><![CDATA[IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation
大致流程

1、Matching：在目标语料库构造语义相似的伪平行样本
2、使用seq2seq类的模型，学习一个文本生成器
3、通过细化对齐中不完善的部分，迭代反复提高transfer的功能

1、Matching
在第0(t=0t=0t=0)次迭代时，通过在两个语料库中配对来构造伪平行样本X^，Y^(0)\hat X，\hat Y^{(0)}X]]></description><category></category></item><item><title><![CDATA[ON VARIATIONAL LEARNING OF CONTROLLABLEREPRESENTATIONS FOR  TEXT WITHOUT SUPERVISION]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/115357062</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/115357062</guid><author>doyouseeman</author><pubDate>Wed, 31 Mar 2021 20:37:55 +0800</pubDate><description><![CDATA[ON VARIATIONAL LEARNING OF CONTROLLABLEREPRESENTATIONS FOR  TEXT WITHOUT SUPERVISION
CP-VAE

解决VAE在文本生成的过程中，在聚合后验的隐藏空间中表示中产生大量空洞区域

提出一个将后验概率约数到一个简单值的方法，通过调控这个简单值来实现对隐层表示的控制
同时在无监督的长句子生成中表现良好（如风格转换任务）



method

将模型分成两个部分：1、我们希望控制的相关因子z(1)z^{(1)}z(1)；2、无关因]]></description><category></category></item><item><title><![CDATA[Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114822970</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114822970</guid><author>doyouseeman</author><pubDate>Mon, 15 Mar 2021 18:56:35 +0800</pubDate><description><![CDATA[Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation
Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

由于将风格和内容分开可能会破坏完整性，这里采用风格和内容纠缠在一起来表示

整个模型被分为三个部分

1、encoderEθeE_{\]]></description><category></category></item><item><title><![CDATA[Unsupervised Text Generation by Learning from Search(TGLS)]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114760071</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114760071</guid><author>doyouseeman</author><pubDate>Sun, 14 Mar 2021 00:16:49 +0800</pubDate><description><![CDATA[Unsupervised Text Generation by Learning from Search(TGLS)
Unsupervised Text Generation by Learning from Search

"先搜索后学习"的无监督文本生成方法

在paraphase generation和text formalization上，无监督模型上SOTA，有逼近监督模型的效果



文章的主要贡献

1、提出了无监督文本生成的通用模型框架（TGLS），在搜索中学习
2、展示了将大规模预训练模型]]></description><category></category></item><item><title><![CDATA[SMART: Robust and Efficient Fine-Tuning for Pre-trainedNatural Language Models]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114640937</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114640937</guid><author>doyouseeman</author><pubDate>Thu, 11 Mar 2021 21:31:16 +0800</pubDate><description><![CDATA[SMART: Robust and Efficient Fine-Tuning for Pre-trainedNatural Language Models through Principled RegularizedOptimization
Smoothness-inducing Adversarial Regularization
fine-tunning的优化如下
min⁡θF(θ)=L(θ)+λSRS(θ)whereL(θ)=1n∑i=1nℓ(f(xi;θ),yi)（损失函数）
\min_{\the]]></description><category></category></item><item><title><![CDATA[Virtual Adversarial Training(VAT)]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114634056</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114634056</guid><author>doyouseeman</author><pubDate>Wed, 10 Mar 2021 16:56:48 +0800</pubDate><description><![CDATA[Virtual Adversarial Training:A Regularization Method for Supervised and Semi-Supervised Learnimg
对抗训练
Goodfellow对对抗训练损失函数定义如下
Ladv(xl,θ)=D[q(y∣xl),p(y∣xl+radv,θ)]whereradv=argmaxD[q(y∣xl),p(y∣xl+radv,θ)]
L_{adv}(x_l,\theta)=D[q(y|x_l),p(y|x_l+r_{adv},\thet]]></description><category></category></item><item><title><![CDATA[Style Transfer from Non Parallel Text by Cross Alignment]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114638236</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114638236</guid><author>doyouseeman</author><pubDate>Wed, 10 Mar 2021 16:10:10 +0800</pubDate><description><![CDATA[Style Transfer from Non Parallel Text by Cross Alignment


引入一个跨语料库(两个语料库有相同的content，但数据非并行)且能精确对齐的表达


学习一个encoder，可以把input映射到一个与style无关的content表达。再将其传递给与style有关的decoder解码。


不用VAE(变分自编码器)，因为我们需要使潜在content表达更丰富与自然


三个任务：情感转化，单词替换密码的破译，恢复语序


和CV的风格转化一样的有]]></description><category></category></item><item><title><![CDATA[DeBERTa]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114600476</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114600476</guid><author>doyouseeman</author><pubDate>Tue, 09 Mar 2021 20:53:23 +0800</pubDate><description><![CDATA[DeBERTa
[DeBERTa: Decoding-enhanced BERT with Disentangled Attention](https://arxiv.org/abs/2006.03654)
code：https://github.com/microsoft/DeBERTa

GPT2差不多的参数，15亿参数。。。

key


Disentangled Attention（分散注意力）

架构和bert类似，主要区别是Attention分数计算额外增加了位置信息

BERT：每个输入层to]]></description><category></category></item><item><title><![CDATA[UNILM]]></title><link>https://blog.youkuaiyun.com/doyouseeman/article/details/114592822</link><guid>https://blog.youkuaiyun.com/doyouseeman/article/details/114592822</guid><author>doyouseeman</author><pubDate>Tue, 09 Mar 2021 20:21:31 +0800</pubDate><description><![CDATA[UNILM
Unified Language Model Pre-training for Natural Language Understanding and Generation
key

综合所有的LM

	- 像bert在NLU任务上表现很好，但是在NLG任务上表现就不太行，UNILM就可以兼备两个任务


采用三个无监督目标：双向LM，单向LM，Sequence-to-Sequence LM


UNILM模型

单向LM，双向LM和Sequence-to-Sequence LM之间的transf]]></description><category></category></item></channel></rss>