Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured

本文是LLM系列文章，针对《Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured Legal Documents》的翻译。

摘要

法律判决预测普遍存在长案文书超过数万字、结构不统一的问题。从这样的文档中预测判断成为一项具有挑战性的任务，对于没有结构注释的文档更是如此。我们通过一个基于深度学习的分层框架（我们称之为MESc）来探索这些大型法律文件的分类及其缺乏结构信息的问题；”基于多级编码器的集群监督”；用于判断预测。具体来说，我们将文档分成多个部分，从自定义微调的大型语言模型的最后四层中提取它们的嵌入，并尝试通过无监督聚类来近似它们的结构。我们在另一组transformer-编码器层中使用它来学习块间表示。我们分析了具有数十亿参数的大型语言模型（LLM）（GPT-Neo和GPTJ）与MESc的分层框架的适应性，并将其与它们在法律文本上的独立性能进行了比较。我们还研究了它们的域内（法律）迁移学习能力以及在MESc中组合最后一层嵌入的影响。我们使用ILDC数据集和LexGLUE数据集的一个子集，对来自印度、欧盟和美国的法律文件进行了广泛的实验和消融研究，以测试这些方法及其有效性。与以前最先进的方法相比，我们的方法实现了大约2个点的最小总性能增益。

1 引言

2 相关工作

3 方法：分类框架（MESc）

4 结果与讨论

5 结论

我们探讨了大型和非结构化法律文件的分类问题，并开发了一个多阶段层次分类框架（MESc）。我们测试了包括我们的近似结构的效果，以及在MESc中组合基于微调transformer的LLM的最后一层嵌入的影响。与