TnT-LLM: Text Mining at Scale with Large Language Models

本文是LLM系列文章，针对《TnT-LLM: Text Mining at Scale with Large Language Models》的翻译。

摘要

将非结构化文本转换为结构化且有意义的形式，并按有用的类别标签进行组织，是文本挖掘以进行下游分析和应用的基本步骤。但是，大多数用于生成标签分类法和构建基于文本的标签分类器的现有方法仍然严重依赖领域专业知识和手动管理，这使得该过程既昂贵又耗时。当标签空间未指定且大规模数据注释不可用时，这尤其具有挑战性。 在本文中，我们用大型语言模型 （LLM） 来应对这些挑战，其基于提示的界面有助于大规模伪标签的归纳和使用。我们提出了 TnT-LLM，这是一个两阶段框架，它使用 LLM 来自动化端到端标签生成和分配过程，对于任何给定的用例，只需最少的人力。在第一阶段，我们引入了一种零样本、多阶段推理方法，使 LLM 能够迭代生成和完善标签分类法。在第二阶段，LLM 用作数据标记器，生成训练样本，以便可以可靠地大规模构建、部署和提供轻量级监督分类器。我们将 TnT-LLM 应用于 Bing Copilot（以前称为 Bing Chat）的用户意图和对话域分析，Bing Copilot 是一个基于开放域聊天的搜索引擎。使用人工和自动评估指标的广泛实验表明，与最先进的基线相比，TnT-LLM 生成了更准确和相关的标签分类法，并在大规模分类的准确性和效率之间取得了良好的平衡。我们还分享了我们的实践经验和见解，了解在实际应用中使用 LLM 进行大规模文本挖掘的挑战和机遇。

1 引言

2 相关工作

3 方法

4 评估套件

5 实验

<