MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property

本文是LLM的相关文章，针对《MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property》的翻译。

摘要

大型语言模型（LLM）在各种自然语言处理（NLP）任务中表现出了令人印象深刻的性能。然而，对LLM在特定领域（如知识产权领域）的表现了解有限。在本文中，我们提出了一个新的基准，即第一个面向多语言的知识产权quiZ（MoZIP），用于评估IP领域的LLM。MoZIP基准测试包括三项具有挑战性的任务：IP多项选择测验（IPQuiz）、IP问答（IPQA）和专利匹配（PatentMatch）。此外，我们还开发了一个新的面向IP的多语言大型语言模型（称为MoZi），这是一个基于BLOOMZ的模型，经过多语言IP相关文本数据的监督和微调。我们在MoZIP基准上评估了我们提出的MoZi模型和四个著名的LLM（即BLOOMZ、BELLE、ChatGLM和ChatGPT）。实验结果表明，MoZi明显优于BLOOMZ，BELLE和ChatGLM，但与ChatGPT相比得分较低。值得注意的是，当前LLM在MoZIP基准上的性能还有很大的改进空间，即使是最强大的ChatGPT也没有达到及格水平。我们的源代码、数据和模型在https://github.com/AI-for-Science/MoZi可用.

1 引言

2 主要数据收集

3 基准

4 提出的MoZi模型

5 实验

6 结