wang2008start的专栏

Improving Conversational Recommender System by Pretraining Billion-scale Knowledge Graph 利用商品图谱 pretrain 得到商品表示，图谱结构信息使用的最简单的 transR 进行，和普通特征一起过推荐排序模型。 重点是商品图谱的构建，由用户 点击/收藏 商品，商品的类别属性，本session的关键词等构件图谱。 Billion-scale Pre-trained E-commerce Product Kn.

K-BERT: Enabling Language Representation with Knowledge Graph. 对于每个句子抽取出三元组，与原始句子合并一起编码position。输入给transformer，对于visible matrix。各个句子part只可见和自己有关的部分，无关的部分不可见。 KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019) 将预训练得到的模型表示，经过知识提取后的知识表示

RDF2Text Few-Shot NLG with Pre-Trained Language Model Logical Natural Language Generation from Open-Domain Tables Structural Information Preserving for Graph-to-Text Generation Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Clo

图表示学习侧重于图结构的处理。知识图谱嵌入模型和规则学习等更加侧重于语义和逻辑结构特征的学习，更好的知识图谱表示学习方法需要综合利用好语义，逻辑结构的特征学习和图结构的特征学习等多种方法 RGCN: Modeling Relational Data with Graph Convolutional Networks. (ESWC 2018). COMPGCN: Composition-based Multi-Relational Graph Convolutional Networks. (ICLR 20

基于模版查询 基于语义解析 基于检索排序 基于深度学习 Entity Linking in 100 Languages. (EMNLP 2020). An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge. (ACL 2017) Key-Value Memory Networks for Directly Reading Documents

知识图谱和Bert结合学习使预训练更加有文化 ERNIE: Enhanced Language Representation with Informative Entities GPT2和知识图谱结合，生成新的节点和边 COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...

前提 需要的知识点比较多，比如实体指称识别， 候选实体生成，候选实体消岐，few-shot, zero-shot， 实体链指，提及等， attention机制里的key value 原理。 知识点补充 few-shot, zero-shot（学习到的映射） 实体链指，提及、候选生成 将文本中的实体指称mention链向其在给定知识库中的目标实体的过程 流程：实体指称识别、候选实体生成和候选实体消岐。 候选实体生成是确定文本中的实体指称可能指向的实体集合 attention机制里的key value 原理 论

大致方向 多模态知识图谱 MMKG: Multi-Modal Knowledge Graphs 链接 多模态知识图谱用于实体消岐 Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts 链接 多模态知识图谱用于推荐系统 Multi-modal Knowledge Graphs for Recommender Systems 2020CIKM 链接 主要方法 各模态单独进行训练后将结果进行融合 缺点：源头

知识图谱在推荐系统中的应用，包括将协同过滤和知识embedding结合、知识包括文字知识／图片知识／结构知识等。将新闻推荐系统中的知识抽取，经过cnn计算和attention机制后用来进行推荐。