PatentGPT: A Large Language Model for Intellectual Property

本文是LLM系列文章，针对《PatentGPT: A Large Language Model for Intellectual Property》的翻译。

摘要

近年来，大型语言模型（LLMs）因其在众多自然语言过程任务中的出色性能而受到广泛关注，并在各个领域得到了广泛应用。然而，由于该领域对专业知识、隐私保护和超长文本处理的强烈需求，大型语言模型在知识产权（IP）领域的应用具有挑战性。在本技术报告中，我们首次提出了一种低成本、标准化的程序，用于训练面向知识产权的LLM，以满足知识产权领域的独特要求。使用这个标准过程，我们基于开源预训练模型训练了PatentGPT系列模型。通过在开源的面向IP的基准MOZIP上对其进行评估，我们的领域特定LLM表现优于GPT-4，这表明了所提出的训练程序的有效性以及PatentGPT模型在IP领域的专业知识。值得注意的是，我们的模型在2019年中国专利代理人资格考试中超过了GPT-4，得分为65分，与人类专家水平相匹配。此外，利用SMoE架构的PatentGPT模型在IP域中实现了与GPT-4相当的性能，并在长文本任务上表现出更好的性价比，可能成为IP域中GPT-4的替代品。

1 引言

2 预训练

3 对齐

4 评估结果

5 结论和未来工作

在本报告中，我们介绍了训练面向知识产权的LLM的方法，并建立了知识产权领域最全面的基准PatentBench。本报告的主要结论总结如下：
首先，我们提出了IP领域LLM的标准训练程序，包括数据预处理、预训练、对齐和评估。在本程序的指导下，我们训练了PatentGPT模型。实验结果表明，我