Vincy_King

作者介绍了Graph of Thought (GoT)：一个具备提高LLM提示能力，超越了思维链或思维树 (ToT) 等范式提供的能力的框架。GoT的关键思想和主要优势是能够将LLM生成的信息建模为任意图，其中信息单位（“LLM思想”）是顶点，而边对应于这些顶点之间的依赖关系。这种方法能够将任意的LLM思想组合成协同结果，提炼出整个思想网络的本质，或者使用反馈循环来增强思想。作者说明了GoT在不同的任务上提供了比现有技术更好的优势，例如比ToT提高了62%的排序质量，同时降低了大于31%成本。

本文提供了一个荷兰语口语图像描述的语料库，结合两组眼球追踪数据：free viewing，参与者没有任何特定目的地观看图像，以及description viewing，我们跟踪眼球运动，同时参与者对他们正在观看的图像进行口头描述。本文描述了数据收集过程和语料库本身，并对图像描述中的自校正进行了初步分析，并发现了两个结果。description viewing的眼球追踪数据比free viewing任务更连贯；图像描述的变化（也称为）在不同语言之间只有适度的相关性。

图像和句子匹配近年来取得了很大的进展，但由于视觉语义差异较大，仍然具有挑战性。这主要是由于像素级图像的表示通常缺乏其匹配句子中的高级语义信息。本文提出了一种语义增强的图像和句子匹配模型，该模型可以通过学习语义概念，然后按照正确的语义顺序组织它们来改进图像的表示。给定一个图像，本文首先使用多区域多标签CNN来预测其语义概念semantic concept，包括对象、属性、动作等。然后，考虑到不同的语义概念顺序导致不同的语义意义，使用上下文门控句子生成方案进行语义顺序学习。

2021 IEEE由于这篇所涉及的领域我并不了解，所以仅提供instruction和method部分，experiment其实也不太详尽，就不多赘述，需要者可自行观看。总的来说，本篇paper最大的亮点是提出了使用FSMN内存块来形成Q和K向量的SSAN层，并作用于Transformer模型，在确保性能没有降低的前提下，减少了传统Transformer训练的时长。由于Transformer模型在建模长期依赖关系方面的优势，因此已被引入端到端语音识别中，在各种任务上具有最先进的性能。然而，这种改进通常是通过使

近年来，我们发现，通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习。然而，由于不同语言的类型差异，跨语言迁移具有挑战性。然而，语言语法，例如语法依赖性，可以弥合类型上的差距。之前的研究表明，预先训练过的多语言编码器，如mBERT，可以捕获语言语法，帮助跨语言迁移。这项工作表明，显式地提供语言语法和使用一个辅助目标来编码通用依赖树结构来训练mBERT，有助于跨语言迁移。作者对四个NLP任务进行了严格的实验，包括文本分类、问答、命名实体识别和面向任务的语义解析。实验结果表明，语法增强的m

2021 Association for Computational Linguistics低资源语言的命名实体识别(NER)是一个既实用又具有挑战性的研究问题。本文研究了跨语言NER的zero-shot transfer问题，特别是在源语言训练数据量也有限的情况下。本文首先提出了一种简单而有效的标记序列翻译方法，将源语言训练数据翻译为目标语言，避免了词序变化和实体跨度确定等问题。利用源语言数据和翻译后的数据，引入了一种基于生成的多语言数据增强方法，通过生成多种语言的合成标记数据来进一步增加多样性。这些增强

最近的几项研究表明，阅读过程中的眼球运动提供了关于语法和句法处理的信息，这有助于NLP模型的诱导。然而，所有这些研究都仅限于英语。这项研究表明，注视和词性(PoS)的相关性在很大程度上在英语和法语之间转移。这意味着我们可以复制之前关于法语中基于注视的PoS标记的研究，但我们也可以使用英语注视数据来帮助法国NLP模型的诱导。......

dual contrastive learning 阅读笔记

用tansformers roberta模型添加special tokens

GoEmotions: A Dataset of Fine-Grained EmotionsAbstract理解用语言表达的情感有广泛的应用，从建立有同情的聊天机器人到检测有害的在线行为。可以使用具有细粒度类型的大规模数据集来改进，以适应该领域的进展。本文介绍了GoEmotits数据集，这是最大的58k个英语Reddit注释的手动注释数据集，标记为27种情绪类别或中性。作者通过主保留成分分析来演示了高质量的注释，用现有的情绪基准进行了迁移学习实验，以表明本文数据集可以很好地推广到其他领域和不同的情绪分类

C3^33KG: A Chinese Commonsense Conversation Knowledge GraphMay 22-27, 2022 Association for Computational Linguistics这篇文章所涉及到的领域不太熟悉，先记录下，以后方便看。Abstract现有的常识性知识库通常以一种孤立的方式来组织元组，这就缺乏常识性的会话模型来计划下一个步骤。为了填补这一空白，本文设计了一个大规模的多回合人写对话语料库，并创建了第一个包含社会常识知识和对话流信息的中国

忙活了一阵子后，现在终于有空研究一下目前如火如荼的ABSA了，当然，还是先从综述出发。A Survey on Aspect-Based Sentiment Analysis: Tasks, Methods, and ChallengesAbstract基于方面的情绪分析(ABSA)作为一个重要的细粒度情绪分析问题，旨在从方面层面来分析和理解人们的观点，在近十年来一直引起了人们的极大兴趣。为了处理不同场景下的ABSA，研究人员引入了不同的任务来分析不同的情绪元素及其关系，包括方面术语、方面类别、意见术语

Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis with Affective Knowledge1. Abstract本文从新的角度研究了方面类别情绪分析(ACSA)任务，探索一个基于外部知识的Beta分布引导的方面感知图构造。也就是说，本文不再纠缠如何费力地搜索情绪线索的方面，而是如何基于公共知识库更好地找到单词高度情感相关的上下文方面并确定他们的重要性，以便学习方面相关的上下文情感依

最近在做一个角色识别的项目，项目中需要用到共指消解的方法，大体了解的有四种：基于Spenbert（https://github.com/troublemaker-r/Chinese_Coreference_Resolution/blob/2b88450eeb3da248fb0f6365c38a32b9fffcb962/README.md）基于问答系统的Span prediction（https://github.com/ShannonAI/CorefQA）参考Emory NLP的工作，他们也是做角色

A Neural-Network-Based Approach to Identifying Speakers in NovelsAbstract在小说中识别说话者的目的是通过文本分析来确定谁在特定的语境中引用了一句话。这项任务对于语音合成系统来说，在制作有声读物时，为引用分配适当的声音是很重要的。然而，现有的方法坚持使用手工特征和传统的机器学习分类器，这限制了说话人识别的准确性。在本文中，我们提出了一种方法来解决这一具有挑战性的问题。我们将说话者识别定义为一个评分任务，并建立了一个基于BERT的候选评

A CHAPTER-WISE UNDERSTANDING SYSTEM FOR TEXT-TO-SPEECH IN CHINESE NOVELSAbstract在基于文本转语音TTS的有声读物制作中，多角色配音和情感表达可以显著提高有声读物的自然性。然而，它需要在句子水平上手动标注带有明确的说话者和情感标签的原创小说，这是非常耗时和昂贵的。在本文中，我们提出了一种中国小说的章节理解系统，基于章节级语境自动预测说话者和情感标签。与每个组件的基线相比，我们的模型获得了更高的性能。由我们提出的系统制作的有声读

A Survey on Using Gaze Behaviour for Natural Language Processing1. Abstract摘要中主要介绍本文的工作，整篇主要讨论了在NLP领域gaze behavior用来处理的不同task。gaze behavior属于认知领域，它的收集是一个很费时费钱的工作。因此本文专注于研究模型在运行时的注视行为，并且也描述了多语言任务中的不同的eye tracking语料库。最后通过讨论应用点以及gaze behavior如何能够帮助解决一些文字识别和

在anaconda上直接pip install faiss-cpu后，在pycharm上运行报以下错误：ImportError: DLL load failed while importing _swigfaiss: The specified module could not be found.网上有人说faiss只适用于Linux和mac，不适用于windows，但在官网上明显给出了可以用于Windows，只不过不用pip，用conda，官网链接# CPU-only version$ con

NEL的最新详细综述~

这篇可以说是在Entity Linking in 100 Languages这篇论文的基础上改进的。1. Abstract本文提出了一种基于实例的最近邻实体链接方法。与大多数表示每个实体的单一向量的先前实体检索系统不同，作者构建了一个上下文化的提及编码器，它学习将同一实体的相似提及放在向量空间中而不是mention不同实体更接近。这种方法允许所有提到的实体都作为“类原型”，因为推理涉及从训练集中完整的标记实体集合中检索，并应用最近的提及邻居的实体标签。本文模型是在来自维基百科超链接的大型多语言语料库上训

1. Abstract实体链接面临着重大的挑战，例如大量的变化和普遍的歧义，特别是在具有无数实体的高价值领域（所以本文从医疗领域出发）。标准的分类方法存在注释瓶颈，不能有效地处理看不见的实体。zero-shot实体链接已经成为泛化到新实体的一个有希望的方向，但它仍然需要在训练中提到黄金实体和所有实体的规范描述，这两种方法都在维基百科之外很少可用。在本文中作文通过利用现成的领域知识来探索实体链接的知识环自我监督(KRISS)。在训练中，它使用领域本体在未标记文本上生成自我监督的mention示例，并使用对

Entity Linking in 100 Languages1. Abstract本文提出了一个新的多语言实体链接公式，其中特定语言的提到解决了一个与语言无关的知识库。在这个新的设置中，作者训练了一个双编码器，基于之前的工作，改进的特征表示、负挖掘和一个辅助实体配对任务，以获得一个包含100种+语言和2000万个实体的单一实体检索模型。该模型优于一个更有限的跨语言链接任务的最先进的结果。稀有实体和低资源语言在这种大规模的评估中提出了挑战，因此作者提倡增加对zero-shot和few-shot评价的关注

明天要开始对EL近期的相关工作进行总结啦，今天先来个小预告，我能说我很佛系吗，之前的那篇survey看了一下35页，差点就把我劝退了，不愧是菜鸡本人，详细版的综述下期再发吧（一把鼻涕一把泪）。Entity linking survey 【简要版】一、EL定义实体链接是将文本中提到的实体与其知识库中相应的实体链接起来的任务（把文本中的mention链接到KG里的entity），是解决实体间存在的歧义性问题。详细来说，给定一个富含一系列实体的知识库与已经标注好mention的语料，实体链接任务的目标是将每

更新下一篇survey之前先来对NLP的一些任务进行总结一、词法分析分词 (Word Segmentation/Tokenization, WS)：在对文本进行处理的时候，会对文本进行一个分词的处理。新词发现 (New Words Identification, NWI)：这个好理解，因为网络上总是有新的词汇出现，比如以前的’神马’这类的网络流行词汇。形态分析 (Morphological Analysis, MA)：分析单词的形态组成，包括词干（Sterms）、词根（Roots）、词缀（Pre

Curriculum-Meta Learning for Order-Robust Continual Relation Extraction这篇文章的阅读方式尝试用沐神建议的方法进行~1. Abstract连续关系提取是从非结构化文本中逐步提取新事实的一项重要任务。根据这些关系的顺序到达顺序，该任务容易面临两个严重的挑战，即灾难性遗忘和顺序敏感性。本文提出了一种新的curriculum-meta learning方法来解决连续关系提取中的上述两个挑战。作者将 meta learning and cu

主要基于Neural Entity Linking: A Survey of Models Based on Deep Learning论文对NEL进行了讲解

关于知识蒸馏的概念和代码

Few-Shot Named Entity Recognition: A Comprehensive Study最近发现读论文get idea有点困难，不如参考大佬的笔记来做做总结，今天主要总结一下few-shot NER，这是一篇few-shot NER的综述《Few-Shot Named Entity Recognition: A Comprehensive Study》1. MotivationNER一种经典的方法是在PLM提供的表示之上添加一个线性分类器，并在域标签上使用交叉熵目标来微调整个模

1. 线性回归2. 基础优化算法3. 线性回归的从零开始实现import randomimport torchfrom d2l import torch as d2l# 构造人造数据集def synthetic_data(w,b,num_examples): """生成 y=Xw+b+噪声""" X=torch.normal(0,1,(num_examples,len(w))) y=torch.matmul(X,w)+b y+=torch.normal(0,0

1. 定义任务from openprompt.data_utils import InputExampleclasses=[ 'negative', 'positive']dataset=[ InputExample( guid = 0, text_a = "Albert Einstein was one of the greatest intellects of his time.", ), InputExample(

一、BERT 整体模型架构BERT的encoder部分，主要分成了三个内容：输入部分、多头注意力机制、前馈神经网络。1. 为什么说是基础架构呢？因为BERT使用的是多个encode堆叠在一起，其中BERT-base使用的是12层encoder，BERT-large使用的是24层的encoder。注意：有一点十分容易混淆，是12层encoder，而不是12层transformer。transformer在文章中应该是6个encoder堆叠在一起形成编码端，6个decoder堆叠在一起形成解码端。2

打补丁法【打在脸上，效果最佳】——以MAE为例一、基于原文章的补丁想自己的点以下是MAE的故事大纲：基于ViT+BERT遮住更多的图片块编码时只处理没遮住的用Transformer来输出（解码）（有从ViT+BERT到MAE的分析，再从MAE加上前面整个来看）ViT最后一小段有说，作者怎样把这个东西弄到BERT上去，但效果不如直接在标号上训练的效果好基于此，MAE做了2个改进：1.做掩码的时候遮住更多的图片块，这样子能够尽量使得图片之间没有那么冗余，使得任务更具挑战性。

该篇文章主要是记录沐神对于如何读论文的笔记，附上B站链接一、paper的架构首先是一篇论文的结构，大致如下：1.Title2.Abstract3.Introduction4.Method5.Experiments6.Conclusion二、读论文的顺序第一遍：标题、摘要、结论。可以跳到实验部分看一些比较重要的图和表，或者是瞄一眼在方法里面的图和表，看看文章主要是在干什么。通过这一遍花十几分钟的时间大概了解这篇文章讲什么，质量怎么样，是否适合自己的研究方向，以此决定是否继续读下去。第二

1. Motivation跨语言文本分类(CLTC)是一项具有挑战性的任务，由于缺乏低资源语言中的标记数据，因此变得更加困难。在文中，作者提出了零目标实例加权，一个通用的模型无关的零目标学习框架，通过利用源实例加权来改进CLTC。它在预先训练过的语言模型上添加了一个模块，用于实例权重的相似性计算，从而将每个源实例与目标语言对齐。在训练过程中，该框架利用由实例权重加权的梯度下降来更新参数。2. Contribution引入了零目标实例加权，这是一个简单但有效的、可扩展的框架，以支持零目标CLTC的实例

Improving the Faithfulness of Attention-based Explanations with Task-specifific Information for Text Classifification1. 必备知识模型的可解释性：对神经网络的解释可以通过识别输入的哪些部分对给定的预测很重要来获得。一种方法是使用更容易解释的稀疏线性元模型。另一种方法是计算保留和省略输入标记之间的模型预测差异。2. Motivation在自然语言处理中，神经网络架构经常使用注意机制来在

Dialogue State Tracking with a Language Model using Schema-Driven Prompting——prompt在对话系统上的应用1. Idea第一眼看到题目，就蹦出了几个问题什么是dialogue state tracking？答： The backbone module of a typical system is dialogue state tracking (DST), where the user goal is inferre

论文链接： https://arxiv.org/abs/2109.041441. Motivation在进行 sentence pair classification 的时候，如果是 few-shot learning, 使用 prompt-based finetuning 很容易产生启发式推理(Inference Heuristics)的问题（即：模型会因为一个句子对由同一个单词组成，从而假设这个句子对具有相同的含义）, 然而这个问题在 zero-shot learning 下不会出现，这说明 fin

本文主要基于论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》对NLP的四个方式和Prompt的相关研究进行介绍和说明。1. NLP发展的四个范式1.1 四个范式P1：非神经网络时代的完全监督学习(Fully Supervised Learning, Non-Neural Network)P2：基于神经网络的完全监督学习(Fully S

项目代码参考 知乎 不忘初心1. SVM的实现上一节主要是中文分词的获取和词向量表达。但每个文章包含不同数量的单词，因此本文通过计算平均词向量的方式来表示文档，也就是文章内包含所有词的向量相加再取平均，这样就可以得到一个和词向量维度相同的指向文章信息的向量。import numpy as npimport pandas as pdimport gensim# num_feature 表示文本单词大小def average_word_vectors(words,model,vocabular

原文及译文本文使用CNN做句子分类（文本分类），下图为一个实例图解。Practitioners’ Guide用于句子分类的CNN有许多超参数，这篇论文专注于对单层CNN分类效果进行分析，得出了一些具有指导意义的结论。Static or Non-static通常来说，使用预训练词向量比随机初始化的效果要好。然而，使用预训练词向量初始化后，是否应该进行微调？这篇论文在多个数据集做了如下图所示的对照实验。从实验结果可以看出，在上述所有数据集中，采取微调策略（non-static）的效果比固定词向量