- 博客(143)
- 收藏
- 关注
RSS订阅原创 如何用python代码构建字体ttf文件（似乎是全网独一份？？）
写在最前面：最近项目遇到了这么一个需求，需要从已有的开源字体整合自己所需的字体的子集，并合并成一个新的可安装字体文件ttf，期间查了不少资料问了好多遍ChatGPT依然没有现成的工具或者代码解决这一问题，索性自己写一个。有需要的小伙伴可以自取。
2024-11-12 15:33:03
720
原创 Shortcut Learning in In-Context Learning: A Survey
Abstract：捷径学习是指模型在实际任务中使用简单的、非鲁棒的决策规则的现象，这阻碍了模型的泛化性和鲁棒性。近年来，随着大型语言模型（large language model, LLMs）的快速发展，越来越多的研究显示了捷径学习对LLMs的影响。本文为上下文学习中捷径学习的相关研究提供了一个新的综述视角。它对ICL任务中的捷径类型、它们的原因、可用的基准和减轻捷径的策略进行了详细的分类与探讨。基于相应的观察，总结了现有研究中尚未解决的问题，并试图勾画出捷径学习的未来研究图景。
2024-11-05 14:32:23
432
原创 几行代码教你轻松完成超大模型推理：LLaMA-30B+TITAN RTX*4+accelerate
是不是苦于没有ChatGPT的API key或者免费的token而无法愉快地和它玩耍？想不想在有限的计算资源上部署大模型并调戏大模型？？想不想解锁大模型的除了对话之外的其它功能？？？几行代码教你搞定如何在有限的计算资源下部署超大模型并实现推理。
2023-07-06 11:03:09
2860
1
原创 Shortcut Learning of Large Language Models in Natural Language Understanding: A Survey，2020
NLP中一些捷径学习的工作总结。挺有意思。
2022-10-10 21:09:30
1299
原创 在自己的数据集上重新训练BERT（附代码）
最近有需要在新的领域进一步训练BERT，因此参照了hugging face官方文档写了相应的代码。本文采用的是hugging face提供的checkpoint，并在相应的task special领域进行了微调。由于项目的保密协议代码数据不便全部公开，下面只给出关键的部分。BERT MLM重新训练BERT主要是在自己的数据集上实现Masked Language Model的预测任务。我忘记了在哪篇论文里看到Next Sentence Prediction对下游的任务的增益其实并不大（如果有误还请指出），
2022-05-26 20:07:21
11999
2
原创 The Most Common Habits from more than 200 English Papers written by Graduate Chinese Students
目录定冠词/不定冠词的使用 a an the句子不要太长在段落开始直接陈述中心思想不要在段落开头直接使用时间状语从句将重要的主语放在最最开始以表示强调which/that所引导的定语从句的指代不明Respectively的使用有关in this paper/study数字‘Figure’ and ‘Table’‘such as’ and ‘etc.’其他惯用法：单复数、固定搭配等总结本文总结了中国学生写作英文科技论文时常见的表达错误。定冠词/不定冠词的使用 a an the一般来说，关于冠词的错误有.
2022-05-07 14:17:45
6142
原创 Cluster & Tune: Boost Cold Start Performance in Text Classification，ACL2022
在真实的场景中，当标记数据稀缺时，文本分类任务通常存在冷启动的现象（也就是标记文本数量太少时很容易过拟合）。本文提出了一种方法来提高这类模型的性能，即在预处理阶段和微调阶段之间增加一个中间的无监督分类任务。作为中间任务，进行聚类，并训练预训练模型预测聚类标签。本文在各种数据集上测试了这个假设，结果表明，当可用于微调的标记实例数量只有几十到几百个时，这个额外的分类阶段可以显著提高性能，主要是针对主题分类任务。之所以可以这样做，因为合理的中间任务有望为最后的微调阶段提供一个更好的起点，在目标任务可用的稀缺标.
2022-05-01 15:58:30
927
原创 A Contrastive Learning Approach for Hierarchy Text Classification，ACL2022
IntroductionHierarchical Text Classification（HTC）是指文本标签之间存在层次结构文本分类任务。不同的标签之间存在的潜在关联会为分类提供正向指导。一般来说，HTC大致可以分为两类：为每个节点或级别构建分类器的局部方法，仅为整个图构建一个分类器的全局方法。本文提出一种用于层次文本分类的对比学习方法。Hierarchy guided Contrastive Learning (HGCLR)直接将分层嵌入到文本编码器中而不是单独地创建层次的结构。在训练过程中，HG.
2022-04-30 17:10:22
1572
2
原创 Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation，arxiv2022
我是目录！IntroductionPreliminariesDual Contrastive LearningDual Contrastive LossTheoretical Justification of DualCLExperiments北航出的一篇很有趣的文章，旨在将对比学习引入到有监督的学习框架中。引入了一个双重对比学习(DualCL)框架，该框架可以在同一空间中同时学习输入样本的特征和分类器的参数。具体来说，DualCL将分类器的参数视为与不同标签相关联的增强样本，然后利用输入样本与增强样本.
2022-03-31 18:19:02
1770
原创 Prompt-Learning for Short Text Classification
本文提出了一种基于知识扩展的快速学习的小样本短文本分类方法，该方法在扩展标签词空间时既考虑短文本本身，又考虑类名。具体来说，从Probase等开放知识图中检索与该类别实体相关的短文本前NNN个概念，通过计算所选概念与类标签之间的距离进一步细化扩展的标签词。如图所示，business作为主要的类名，但是可以从Probase中检索出一众具有类型主题的实体（单词），并可以借此对P-tuning进行增强。MethodologyP-tuning或者叫Prompt-learning的第一步是将标签空间与输入空.
2022-03-31 10:04:18
2302
原创 Co-attention network with label embedding for text classification，Neurocomputing2022
在本文中，试图通过进一步构造具有文本到标签注意的文本参与的标签表示来开发标签信息。为此，提出了一种带有标签嵌入的协同注意网络(CNLE)，该网络将文本和标签共同编码到它们相互参与的表示中。通过这种方式，模型能够兼顾两者的相关部分。实验表明，在7个多分类基准和2个多标签分类基准上，我们的方法与现有的最先进的方法相比，取得了有竞争力的结果。考虑一个包含mmm个词的文本xxx以及包含ccc个标签的标签序列lll，目标是将二者的序列信息融合，得到标签增强的文本表示zx∣lz_{x|l}zx∣l以及文本增强的.
2022-03-29 19:37:12
994
3
原创 Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification, WWW2022
本文研究零样本情境下基于元数据的多标签文本分类，它不需要任何带标签的标注文档，只依赖于标签表面名称和描述。为了训练一个分类器来计算文档和标签之间的相似度分数，提出了一种新的元数据诱导对比学习(MICoL)方法。PRELIMINARIESMetadata, Meta-Path, and Meta-Graph元数据是指网络中的额外信息，在本文使用的学术网络中，通常包含作者、机构、主题等信息。学术网络被建模成一个很典型的异构图（HIN），其中不同类型节点、边之间的构图pattern可以用meta-pat.
2022-03-29 15:11:25
1439
原创 Label-Specific Dual Graph Neural Network for Multi-Label Text Classification，ACL2021 finding
为了提取多标签分类中标签之间的高阶关联性，一些方法使用统计相关性。然而，基于统计的方法有如下缺点：从训练数据中获得的标签对之间的共现模式是不完整的和有噪声的（有的统计特征可能是训练集特有的）；在全局中构建标签共现图，这可能会对罕见的标签相关性有偏倚；统计标签相关性可能形成长尾分布，即，一些类别非常常见，而大多数类别有很少的文档。为了解决上述问题，本文提出了一种新的标签特异性对偶图神经网络(LDGN)，该网络利用类别信息从文档中学习标签特异性成分，并采用双图卷积网络(dual Graph Convolut.
2022-03-25 15:12:52
3754
3
原创 Don’t Miss the Labels: Label-semantic Augmented Meta-Learner for Few-Shot Text Classification
ACL finding 2021本文证明了分类标签信息可以用来从一个预训练语言模型(如BERT)中提取输入文本的更有区别的特征表示，并且可以在样本稀缺的情况下实现性能提升。在这一发现的基础上，提出了一个名为标签语义增强元学习者(LaSAML)的框架来充分利用标签语义。我们系统地研究了该框架中的各种因素，并表明它可以插入现有的小样本文本分类系统中。模型总体框架如图所示：Method首先，Bert的输入被修改为：“[CLS] sentence [SEP] class name [SEP]”，这已经是
2022-03-25 10:19:52
663
原创 Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
ACL2021 finding本文引入了一种新的多任务学习方法来增强标签相关反馈。首先利用一种联合嵌入(JE)机制来同时获取文本和标签的表示，并借助注意力机制对其进行增强。此外，提出了两个辅助的标签共现预测任务来提高标签相关学习:1)两两标签共现预测(Pairwise label Co-occurrence Prediction，PLCP)和2)条件标签共现预测(Conditional label Co-occurrence Prediction，CLCP)，分别捕捉多标签之间的一阶相关性和高阶相关性。
2022-03-24 12:01:08
1282
原创 Label Confusion Learning to Enhance Text Classification Models，AAAI2021
将一个真正的标签表示为one-hot向量是训练文本分类模型的一个常见实践。然而，one-hot表示可能不能充分反映实例和标签之间的关系，因为标签通常不是完全独立的，而实例在实践中可能与多个标签相关。不充分的单热点表示容易使模型过度自信，从而导致模型的任意预测和模型过拟合，特别是对于混淆数据集(标签非常相似的数据集)或噪声数据集(标注错误的数据集)。虽然使用标签平滑(LS)训练模型可以在一定程度上缓解这一问题，但仍然无法捕捉标签之间的真实关系。在本文中，我们提出了一种新的标签混淆模型(LCM)作为当前流行的.
2022-03-23 13:54:28
1095
1
原创 Merging Statistical Feature via Adaptive Gate for Improved Text Classification，AAAI2021
文本分类研究主要集中在仅利用文本输入来训练分类器，或通过引入外部知识(如手工词汇和领域知识)来增强语义特征。相比之下，语料库的一些固有的统计特征，如词频和标签分布，没有得到很好的利用。与外部知识相比，统计特征具有确定性，自然与相应的任务相容。在本文中提出了一种自适应门网络(AGN)来选择性地利用统计特征巩固语义表示。AGN可以与现有的文本分类模型进一步结合，并提升模型的性能。MethodologyGlobal information为了利用与标签相对的单词的频率等固有信息，本文首先提出了一个ter.
2022-03-23 11:27:17
1226
1
原创 Knowledge-Aware Leap-LSTM: Integrating Prior Knowledge into Fast LSTM for Long Text Classification
AAAI2021本文主要用于改进用于处理长本文的LSTM，降低LSTM中step-to-step这种传播方式中的时间复杂度。一个非常直观的念头是跳过不重要的单词，不进行门计算即可。本文在已有的Leap-LSTM的基础上引入外部知识，解决Leap-LSTM在跳过单词时对一些重要关键词的忽略的问题。Leap-LSTM首先，Leap-LSTM【Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization，IJCAI2019】根据当
2022-03-21 11:25:26
899
原创 Self-training Improves Pre-training for Natural Language Understanding，NAACL2021
本文研究了半监督学习中通过自监督训练利用非标记数据的一种方法。具体来说，引入了SentAugment，这是一种数据增强方法，它从有标签的数据中计算特定于任务的查询嵌入，从从网络上爬取的数十亿个无标签的句子库中检索句子（/(ㄒoㄒ)/~~果然是Facebook AI才配做的工作啊）。与以前的半监督方法不同，本文的方法不需要域内无标记数据，因此更普遍适用（我觉得咋不太实用呢，主要是数据量太大了穷逼应该用不起吧？）。其实本文的思路很简单，捋一遍论文就知道了。Approach总体的结构图如图所示：Lar.
2022-03-04 15:05:38
1970
原创 Revisiting Self-Training for Few-Shot Learning of Language Model，EMNLP2021
Method本文提出了一个基于自监督语言模型的少样本文本学习框架SFLM。给定文本样本，通过屏蔽语言模型的提示学习方法，为同一个样本生成弱增强和强增强两个视图，SFLM在弱增强版本上生成一个伪标签。然后，当与强增广版本进行微调时，模型预测相同的伪标签。整体的模型如下：首先，给定一个有标签数据集X\mathcal{X}X，其中每个类别数目为NNN，无标签的训练数据集为U\mathcal{U}U，其中每个类被的数量为μN\mu NμN，μ\muμ是一个大于1的整数，用于保证有标签的数量一直是少于无标记.
2022-03-01 15:35:58
550
原创 Adversarial Self-Supervised Data-Free Distillation for Text Classification,EMNLP2020
这是一篇非常有趣的论文。大多数KD（知识蒸馏）算法，尤其是在NLP中，都依赖于原始训练数据集的可访问性，而原始训练数据集可能由于隐私问题而不可用。为什么有些知识会不可用？比如，GPT2还没有公布训练数据，只有已经调优的模型；又或者GPT3训练的数据量级太大，普通人（穷逼）根本没办法存储、使用。因此文本探究了如何在没有训练原始数据的情况下进行知识蒸馏。注意这里没有原始数据，但是已经有很好拟合原始数据的模型了，也就是Teacher模型。具体来说，提出了一种新颖的两阶段无数据蒸馏方法——对抗自监督无数据蒸馏(.
2022-02-25 17:44:40
807
1
原创 ContextualizedWeak Supervision for Text Classification，ACL2022
在以生成标签对应关键词为核心思想的半监督文本分类中，现有的大多数方法都以一种与上下文无关的方式生成伪标签，因此，人类语言的模糊性和上下文依赖性一直被忽视。本文利用词出现的上下文化表示和种子词信息来自动区分同一词的多种解释，从而创建上下文化语料库，该语境化语料库进一步以迭代的方式训练分类器和扩展种子词，最终提升半监督文本表示的性能。Overview问题的定义还是那几种符号，跳过：本文提出了一个框架，ConWea，构建语境话的弱监督模型。在这里，语境化体现在两个方面:语料库和种子词。因此，相应地开发了.
2022-02-24 17:29:24
1127
原创 SALNet: Semi-Supervised Few-Shot Text Classification with Attention-based Lexicon Construction
AAAI2021.本文考虑了低资源文本分类情境下对class对应的关键词进行扩充的问题，每个类收集一组被称为lexicon的词集，根据分类任务计算的注意力权重，并根据注意力系数对关键词进行再分配（注意力的可视化如图1所示）。之后，利用分类器与所构建的lexicon的组合来标记新的数据来引导分类器，以提高预测的准确性。Methods与其他的弱（半）监督方法一样，本文提出的方法依旧是迭代的过程，大致可以分为如下几步：从给定的标签数据创建一个基本分类器，这里训练分类器的样本是非常少的。分类器必须包含.
2022-02-23 14:14:47
1399
原创 Weakly-supervised Text Classification Based on Keyword Graph,EMNLP2021
一般来说弱监督文本分类采用的方法都是通过找寻和标签类别的相似词来代表整个类，然后通过关键词对无标签数据进行伪标签派生。但是现有的方法对关键字的处理是独立的，因此忽略了关键字之间的相关性。因此，本文提出了一个能够引入关键词之间相关性的方法。具体来说，在每次迭代的过程中，首先构造一个关键字图，因此分配伪标签的任务被转换为注释关键字子图。为了提高标注质量，引入了一个自监督任务对子图标注器进行预训练，然后对其进行微调。利用子图注释器生成的伪标签，我们训练一个文本分类器来分类无标签的文本。文本聚类一个例子说明关键.
2022-02-22 19:45:06
2679
原创 GNN NLP(16) Hierarchical Multi-label Text Classification with Horizontal and Vertical
EMNLP2021Introduction分层多标签文本分类(HMTC)处理具有挑战性的任务，其中一个实例可以同时分配给多个层次结构的类别。以往的大多数研究要么专注于将HMTC任务简化为一个扁平的多标签问题，忽略了垂直类别相关性，要么利用不同层次上的依赖关系，而没有考虑同一层次上类别间的水平相关性，这不可避免地会导致基本信息的丢失。因此，本文设计了一个松散耦合的图卷积神经网络Loosely Coupled Graph Convolutional Network(LCGCN) 作为表示提取器，以获取单词.
2022-02-09 12:07:21
1504
原创 GNN NLP(15) Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification
EMNLP2021.目录MethodWord-Level Component GraphsNode Embedding LearningGraph ConstructionShort Document GraphHierarchical PoolingDynamic Graph LearningExperimentsMethod本文提出了一个基于图神经网络的短文本分类框架，用于捕捉短文本之间的稀疏语义关系。具体来说，提出了两种不同的构图方式：word-level component graphs以及.
2022-02-08 19:19:37
1684
原创 Coarse2Fine: Fine-grained Text Classification on Coarsely-grained Annotated Data
EMNLP2021目录IntroductionProblem FormulationC2F FrameworkInitial Fine-grained Weak SupervisionTailored Language Model TrainingHierarchy-Aware RegularizationPseudo Training Data Generation, Text Classifier, & Weak Supervision UpdateExperiments参考文献Intro.
2022-02-08 11:50:03
1544
原创 Difficult Samples Re-embedding via Mutual Information Constrained Semantically Oversampling
EMNLP2021Introduction不平衡样本分类可以通过对少数样本过采样或是对多数样本欠采样的方式解决，或者使用GAN进行采样使得采样之后的数据仍然遵循原始数据分布。当然，之前读过的数据增强MixText也是一种方法。但是，少数类的困难样本通常很难被分类，因为它们嵌入到与多数类重叠的语义区域。比如，如图所示：如Traditional Embedding展示的那样，红色的重叠区域的样本识别往往是困难的，因为它们在表面形式(例如，n-gram或语法)方面与Mahority样本相似。例如，在数
2022-02-07 21:46:40
462
1
原创 FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
本文发表于EMNLP2020。本文提出了一个基于卷积模型的蒸馏方法，实现了一个轻量级的、快速的半监督文本分类框架FLiText，相比于Bert等大规模预训练模型，蒸馏模型更具备实际应用价值。Method模型总体的框架如下，大致分为激励网络和目标网络两部分：激励器网络（预训练语言模型）利用一致性正则化和数据增强技术，充分挖掘未标记数据和有限标记数据中的信息和特征。然后在输出和隐藏空间两层提供正则化约束，引导轻量级目标网络仅使用少量标记数据实现高效的半监督学习。本文使用X=(xi,yi),i∈(.
2022-02-01 21:49:30
983
1
原创 META: Metadata-Empowered Weak Supervision for Text Classification，EMNLP2020
本文考虑在弱监督文本分类情境下使用元数据（metadata），利用元数据作为一个额外的薄弱监督的来源。具体来说，本文将文本数据和元数据组织到一个文本丰富的网络中，并采用motif来捕获元数据的适当组合，并在迭代过程中对motif实例以及种子词进行排序，选择重要的motfi作为种子motif。Introduction除了文本信息之外，元数据信息(例如，作者、出版年份)在各个领域(例如，新闻文章、社交媒体帖子和科学论文)都可以广泛获得，它可以作为一个强大的、互补的弱监督来源。元数据通常是多类型的，每种.
2022-02-01 17:50:37
923
原创 Denoising Multi-SourceWeak Supervision for Neural Text Classification，EMNLP2020
本文探究在没有标签情况下只使用易于提供的规则作为多个弱监督源的文本分类方法。使用诱导规则进行文本分类是具有挑战性的，因为，规则并不能覆盖一些长尾的样本，并且使用规则的学习往往是具有噪声的。为了解决这两个问题，本文设计了一种标签去噪器，利用条件软注意机制估计可靠性，然后通过聚合规则标注的弱标签来降低标签噪声。降噪后的伪标签监督神经分类器预测不匹配样本的软标签，解决了规则覆盖问题。Preliminaries假设存在多个弱监源，彼此提供互补的信息。下面提供了一个具体的例子：餐馆评价中涉及到的规则包含价格.
2022-01-31 15:55:59
842
原创 MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classificati
ACL2020本文利用数据增强技术TMix对半监督文本分类任务中的为标记数据做增强，并猜测未标记数据的低熵标签，从而让为标记数据与标记数据一样具有可用性。通过混合标记、未标记和增强数据，MixText在几个文本分类基准上显著优于当前的预训练和微调模型以及其他最先进的半监督学习方法。目录IntroductionTMixText classificationSemi-supervised MixTextData AugmentationLabel GuessingTMix on Labeled and U.
2022-01-30 11:21:49
741
原创 GNN NLP(14)：Compare to The Knowledge Graph Neural Fake News Detection with External KnowledgeACL2021
本文提出了一种新的端到端图神经模型CompareNet，该模型通过实体将新闻与知识库(KB)进行比较，用于虚假新闻检测。考虑到假新闻检测是与话题相关的，也加入了话题来丰富新闻表现。具体来说，为每个包含主题和实体的新闻构造一个有向异构文档图，然后通过精心设计的实体比较网络将上下文实体表示与相应的基于KB的实体表示进行比较，以捕获新闻内容和KB之间的一致性。目录Fake News DetectionProposed CompareNetDirected Heterogeneous Document Grap.
2021-12-08 14:05:05
1701
原创 当GNN遇见NLP(十四)：Cross-lingual Text Classification with Heterogeneous Graph Neural Network，ACL2021
以往的预训练多语言模型没有明确考虑语言之间的语法差异，这可能会导致目标语言泛化性能下降；此外，通常存在足够的未标记目标语言文档，这些文档自然地包含关于语言和任务的丰富信息，然而，只有少数先前的研究利用了未标记的数据。本文提出了一种简单而有效的方法（Cross-Lingual Heterogeneous GCN (CLHG)），利用图卷积网络(GCN)将不同语言内和跨语言的异构信息合并到跨语言文本分类中。具体来说，将文档和单词作为节点，并将具有不同关系的节点(包括词性角色、语义相似度和文档翻译)连接起来，.
2021-12-04 11:07:40
1087
原创 Neo4j Desktop图数据库导出
首先打开Neo4j Desktop，注意不要Start数据库，不然无法导出。选择想要导出的数据库manage：然后打开终端：本机图数据库的路径如下：然后为了能够执行neo4j-admin命令，需要进入bin目录：cd bin然后进行数据库导出：neo4j-admin dump --database=neo4j --to=policy.db注意这里尽管我的数据库名字为policy，但是实际上默认名都是neo4j，因此如果设置–database=policy会报错：数据集不存在！
2021-11-15 09:59:58
3102
3
原创 当GNN遇见NLP(十三) Position Bias Mitigation: A Knowledge-Aware Graph Model for Emotion Cause Extraction
一转眼又好久没更新了。在本文我们介绍一个之前没有看过的新任务：Emotion Cause Extraction (ECE)，也就是给定一个上下文，从中寻找情绪子句对应的原因。从直觉来说，大多数带注释的原因子句要么直接位于其相关的情感子句之前，要么就是情感子句本身（如图1所示），因此位置信息是十分重要的，会影响模型的鲁棒性，而现有的方法多是通过相对位置来解决这个问题的，没有图神经网络来得直接。因此，本文提出了一种新的基于图的方法，通过利用常识增强候选子句和情感子句之间的语义依赖关系来显式建模情感触发路径。.
2021-11-13 18:50:05
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人