X-Transformer: 用于极端多标签文本分类的开源项目

X-Transformer: 用于极端多标签文本分类的开源项目

X-Transformer X-Transformer: Taming Pretrained Transformers for eXtreme Multi-label Text Classification 项目地址: https://gitcode.com/gh_mirrors/xt/X-Transformer

1. 项目基础介绍与主要编程语言

X-Transformer 是一个开源项目，旨在驯化预训练的 Transformer 模型，以便于处理极端多标签文本分类问题（eXtreme Multi-label Text Classification，XMC）。该项目基于一系列关于模型训练和优化的创新方法，旨在提高多标签文本分类的效率和质量。主要编程语言为 Python，使用 PyTorch 深度学习框架。

2. 项目的核心功能

• 预训练模型的微调：项目支持对预训练的 Transformer 模型（如 XLNet）进行微调，以适应特定的多标签文本分类任务。
• 标签嵌入：项目提供多种标签嵌入技术，包括 PIFA-TFIDF、PIFA-Neural 和 Text-Emb 等，以增强模型对标签的理解。
• 层次化聚类：通过层次化2-means算法，将标签进行聚类，以降低模型复杂度并提高分类效率。
• 特征处理：项目包括对输入文本和标签进行特征处理的流程，以准备数据供 Transformer 模型训练和预测使用。
• 多标签分类评估：提供评估工具，使用 Precision/Recall@k 等指标来评估模型的性能。

3. 项目最近更新的功能

• 性能提升：最新的实现版本（可在 PECOS 找到）在训练速度和性能上都有显著提升。
• 环境配置简化：通过 Conda 环境配置文件，简化了项目环境的搭建过程。
• 数据集和模型下载：提供了脚本来自动下载所需的数据集和预训练模型，方便用户快速开始实验。
• 代码和文档的优化：项目代码和文档都进行了优化，使得使用和复现实验结果更为方便。

通过这些更新，X-Transformer 项目的易用性和性能都得到了显著提高，为极端多标签文本分类任务提供了一个强大的工具。

X-Transformer X-Transformer: Taming Pretrained Transformers for eXtreme Multi-label Text Classification 项目地址: https://gitcode.com/gh_mirrors/xt/X-Transformer