wang2008start的专栏

方法生成中包含指定的 keyword（可指定多个keyword）。一般处理此类问题时，把工作放在decoder阶段，这里将主要工作放在 encoder 阶段，encoder 过 softmax 后 进行分类，每个 token 是要进行拷贝/替换/插入（0/1/2） 的 action操作的某种。在decoder时进行相关操作。 生成包含指定keyword的任务，这里需要迭代多次才能完成，首次输入只有指定的keyword，对每个keyword的左右生成相应词，将输出作为第二阶段的输入，如此迭代。结束条件？

Improving Conversational Recommender System by Pretraining Billion-scale Knowledge Graph利用商品图谱 pretrain 得到商品表示，图谱结构信息使用的最简单的 transR 进行，和普通特征一起过推荐排序模型。重点是商品图谱的构建，由用户 点击/收藏 商品，商品的类别属性，本session的关键词等构件图谱。Billion-scale Pre-trained E-commerce Product Kn.

K-BERT: Enabling Language Representation with Knowledge Graph.对于每个句子抽取出三元组，与原始句子合并一起编码position。输入给transformer，对于visible matrix。各个句子part只可见和自己有关的部分，无关的部分不可见。KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019)将预训练得到的模型表示，经过知识提取后的知识表示

基于模版查询基于语义解析基于检索排序基于深度学习Entity Linking in 100 Languages. (EMNLP 2020).An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge. (ACL 2017)Key-Value Memory Networks for Directly Reading Documents

这里写自定义目录标题多文档摘要检索辅助生成REALM: Retrieval-Augmented Language Model Pre-TrainingRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（RAG）检索器DPR[1]生成器 BART跨数据格式的问答系统Ref多文档摘要Hierarchical Transformers for Multi-Document Summarization段落排序-> 取top段