qq_42341984的博客

指针生成网络由article生成abstract，生成词表（tgt_vocab）的大小是有限的，因此加入指针机制解决oov问题。article2idsdef article2ids(article_words, vocab): ids = [] oovs = [] unk_id = vocab.word2id(UNKNOWN_TOKEN) for w in article_words: i = vocab.word2id(w) if i == unk_id: # If

前言这是一次浪费了我一周时间（做了62次实验）的深坑记录，说多了都是心酸。在开源代码的基础上，为了简化封装，重构了其代码，模型结构等等保持不变，但training loss始终不下降，极其稳定。找bug的过程检查了模型结构和参数维度检查注明????的地方：for epoch in range(sp.num_epochs): # Update model parameters sp.train() # ???? for step, mini_batch in enumerate

SIGCOMMAugust 2018Abstract现有的IBN研究方案未能利用网络运营商的知识和反馈来验证或改进意图的转换。本文介绍了一个新的意图重塑过程，它使用机器学习和来自运营商的反馈，将运营商的话语翻译成网络配置。重塑过程使用一个序列到序列的学习模型来从自然语言中提取意图，并使用操作员的反馈来改进学习。原型==使用自然语言与网络操作员互动，再将操作员的输入翻译成中间表示（其结构足够便于精确翻译），最后翻译成SDN规则==。实验表明，对于有5000个条目的数据集，实现了0.99的相关系数.

ACL 2021Abstract1 简介2 相关工作2.1 TM-augmented NMTFeng等人（2017）用双语词典增强了NMT，以解决不经常出现的单词翻译问题。Gu等人（2018）提出了一个模型，检索与测试源句相似的例子，并用键值记忆网络对检索的源-目标对进行编码。Cao和Xiong（2018）；Cao等人（2019）使用门控机制来平衡翻译记忆的影响。Zhang等人（2018）通过检索n-grams和上调检索n-grams的概率来提出引导模型。Bulte和Tezcan（2.

Text-to-SQL1 Single table（WikiSQL）1.1 Encode1.1.1 NL和DB的交互（对齐）预训练的方法STRUG：https://blog.youkuaiyun.com/qq_42341984/article/details/115615653TaBert：学习自然语言描述和数据库的（半）结构化信息的联合表示 https://www.sohu.com/a/413894298_657157GRAPPA：ICLR 2021在文本数据和表数据的联合表示中学

GRAPPA: Grammar-Augmented Pre-Training for Table Semantic Parsing

Structure-Grounded Pretraining for Text-to-SQLAbstract1. Introduction2. Related Works3. Methodology3.1 Context-free Grammar Pre-training（GP）3.2 Question-Schema Serialization and Encoding4. Experimental ResultsNAACL，2021https://arxiv.org/pdf/2010.12773.p

IRNET 的 memory augmented pointer networktable_appear_mask_val = torch.from_numpy(table_appear_mask)if self.cuda: table_appear_mask_val = table_appear_mask_val.cuda()if self.use_column_pointer: gate = F.sigmoid(self.prob_att(att_t)) weights =

GP: Context-free Grammar Pre-training for Text-to-SQL ParsersAbstract1. Introduction2. Related Works3. Methodology3.1 Context-free Grammar Pre-training（GP）3.2 Question-Schema Serialization and Encoding4. Experimental ResultsJournal of Artificial Intellig

SeqGenSQL - A Robust Sequence Generation Model for StructuredAbstract3 Model3.1 Question Augmentation3.2 Reversed Trainer Model（Data Augmentation）3.3 Gated Extraction Network3.4 Execution Guided Inferencehttps://arxiv.org/abs/2011.03836Implementation: h

Semantic Parsing with Semi-Supervised Sequential Autoencoders1 Introduction2 Model1 Introduction在本文中，我们专注于学习从输入序列x到输出序列y的映射，在这些领域中，后者很容易获得，但以(x，y)对形式的注释是稀疏或昂贵的，并提出了一种新的架构，以适应序列转导任务的半监督训练。为此，我们用自动编码目标增强了转导目标(x 7 y)，其中输入序列被视为一个潜伏变量(y 7 x 7 y)，从而可以从标记的对和未配对

X-SQL: reinforce schema representation with contextAbstract1 Introduction2 Neural ArchitectureAbstract针对 NL-to-SQL 的解析问题，本论文提出了一种新的网络体系结构X-SQL。利用bert风格的预训练模型（MT-DNN）的上下文输出来增强结构模式表示，并**结合类型信息（ type information）**来学习用于下游任务的新模式表示。1 IntroductionX-SQL 从以下三个

Bridging Textual and Tabular Data forCross-Domain Text-to-SQL Semantic ParsingAbstract1 Introduction1.1 任务介绍1.2 两个问题2 Related work2.1 expression fragmentation 表达式分片问题2.2 operand-context separation 操作数-上下文分离问题3 EPT: Expression-Pointer Transformer3.1 Input

Memory Network总结：Memory Networks相关的论文和实现深度学习和自然语言处理中的attention和memory机制

Point to the Expression: Solving Algebraic Word Problems using the Expression-Pointer Transformer Model

Mention Extraction and Linking for SQL Query GenerationAbstract1 Introduction2 Method2.1 Extractor2.2 Schema Linking as Matching2.3 AGG prediction enhancement2.4 Automatic Annotation via Alignment3 Experiment3.1 Results4 Related Work5 Conclusion and Future

【P7】CodeBERT: A Pre-Trained Model for Programming and Natural LanguagesAbstract1 Introduction2 Background2.1 Pre-Trained Models in NLP2.2 多模态Pre-Trained ModelsAbstract我们提出了CodeBERT，一个用于编程语言（PL）和自然语言（NL）的双模态预训练模型。CodeBERT可以学习通用的表示方法，支持下游NL-PL应用，如自然语言代码搜索、

Attention Is All You Need1 模型结构EncoderDecoder2 Attention机制2.1 Scaled Dot-Product Attention2.2 Multi-Head Attention33.1 Positional Encodings1 模型结构 Transformer 是基于经典的Encoder-Decoder架构：Encoder 的输入由 Input Embedding 和 Positional Embedding 求和组成。Decoder

HMM（隐马尔可夫模型）前言一、基本概念1、两组变量和三组参数两组变量三组参数2、三个基本问题二、概率计算问题1、直接计算法（暴力穷举）2、前向算法3、后向算法三、预测问题四、学习问题总结reference前言隐马尔可夫模型是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。一、基本概念1、两组变量和三组参数两组变量状态变量yiy_iyi​：隐藏的马尔可夫随机链生成的状态序列，不可观测观测变量xix_ixi​：每个状态生

NLP中的Attention机制

CRF（条件随机场）前言前言条件随机场是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模。条件随机场试图对多个变量在给定观测值后的条件概率进行建模，具体来说，若令x=x1,x2,...,xnx = {x_1,x_2,...,x_n}x=x1​,x2​,...,xn​为观测序列，y=y1,y2,...,yny = {y_1,y_2,...,y_n}y=y1​,y2​,...,yn​为与之相应的标记序列，则条件随机场的目标是构建条件概率模型P(y∣x)P(