MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property

UnknownBody

于 2024-03-15 18:13:49 发布

阅读量121

点赞数

分类专栏： LLM Evaluation 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136745298

版权

LLM Evaluation 同时被 2 个专栏收录

83 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

本文提出了一种新的多语言知识产权评估基准MoZIP，包括IPQuiz、IPQA和PatentMatch任务。MoZi是基于BLOOMZ的IP相关模型，在MoZIP上优于BLOOMZ、BELLE和ChatGLM，但不及ChatGPT。研究表明，当前LLM在知识产权领域的性能有待提升，MoZIP有望成为该领域标准评估基准。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM的相关文章，针对《MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property》的翻译。

摘要

大型语言模型（LLM）在各种自然语言处理（NLP）任务中表现出了令人印象深刻的性能。然而，对LLM在特定领域（如知识产权领域）的表现了解有限。在本文中，我们提出了一个新的基准，即第一个面向多语言的知识产权quiZ（MoZIP），用于评估IP领域的LLM。MoZIP基准测试包括三项具有挑战性的任务：IP多项选择测验（IPQuiz）、IP问答（IPQA）和专利匹配（PatentMatch）。此外，我们还开发了一个新的面向IP的多语言大型语言模型（称为MoZi），这是一个基于BLOOMZ的模型，经过多语言IP相关文本数据的监督和微调。我们在MoZIP基准上评估了我们提出的MoZi模型和四个著名的LLM（即BLOOMZ、BELLE、ChatGLM和ChatGPT）。实验结果表明，MoZi明显优于BLOOMZ，BELLE和ChatGLM，但与ChatGPT相比得分较低。值得注意的是，当前LLM在MoZIP基准上的性能还有很大的改