LG AI研究院发布韩国AI大模型专业能力最新测试基准：就像给AI考职业资格证一样严格

这项由LG AI研究院的洪石熙、金善京等研究团队领导的研究发表于2025年1月的arXiv预印本平台（论文编号：arXiv:2507.08924v1），有兴趣深入了解的读者可以通过该编号在arXiv平台上访问完整论文。

把AI大模型比作刚毕业的大学生，那么现在市面上的各种AI测试就像是学校里的期末考试。但问题是，这些"期末考试"能真正检验AI是否具备在现实社会中工作的能力吗？就像一个学生可能在学校考试中拿高分，但到了实际工作中却不知道该如何处理复杂的职场问题一样。

LG AI研究院的研究团队意识到了这个问题。他们发现，现有的AI测试主要集中在学术知识上，却忽略了一个关键问题：AI是否真的具备处理专业工作所需的实际技能？当企业想要部署AI助手来处理法律咨询、医疗诊断或者会计工作时，他们需要知道这个AI是否真的具备相关的专业资质，而不仅仅是在学术测试中表现良好。

基于这个洞察，研究团队开发了两个全新的测试基准：KMMLU-REDUX和KMMLU-PRO。如果把之前的AI测试比作学校考试，那么这两个新的测试就像是专业的职业资格考试。KMMLU-REDUX相当于技能认证考试，而KMMLU-PRO则是真正的职业资格证书考试。

整个研究过程就像是一场精心设计的侦探工作。研究团队首先像侦探一样仔细检查了现有的韩国AI测试基准KMMLU，发现了许多问题。他们发现有些题目直接在问题中泄露了答案，就像考试时老师不小心把答案写在了黑板上一样。还有一些题目表述不清，让人看了一头雾水。更严重的是，有些题目在网络上到处都是，AI在训练时可能已经"见过"这些题目了，这就像学生提前拿到了考试答案一样不公平。

为了解决这些问题，研究团队采用了两个策略。首先，他们对原有的测试进行了"大扫除"，仔细筛选出了2587个高质量的题目，组成了KMMLU-REDUX。这些题目全部来自韩国国家技术资格考试，要求考生必须拥有学士学位或至少九年的相关工作经验才能参加，确保了测试的专业性和挑战性。

其次，他们创建了全新的KMMLU-PRO测试，这个测试包含了2822个来自韩国国家专业执业资格考试的题目，涵盖了14个不同的专业领域。这些考试可不是闹着玩的——它们是真正的职业准入门槛，就像医生需要通过医师资格考试、律师需要通过司法考试一样。通过这些考试，才能在相应的专业领域合法执业。

研究团队选择的专业领域非常全面，包括了法律、医学、会计、税务等各个方面。在法律领域，他们纳入了律师、专利代理人、劳动法律师等职业的考试题目。在医学领域，包括了医师、牙医、药剂师等专业的考试内容。在会计税务领域，涵盖了注册会计师、税务师、报关员等职业的考试题目。每个专业都有其独特的知识要求和实践技能，这确保了测试的全面性和实用性。

为了保证测试的权威性和准确性，研究团队直接从韩国政府官方网站获取了最新的考试题目，而不是从可能存在错误的第三方网站收集。他们还雇佣了23名专业标注员，花费了8个工作日对所有题目进行人工检查和校对，确保每个题目都准确无误。这个过程就像是对每道菜都要经过顶级厨师品尝确认一样严格。

在实际测试中，研究团队使用了市面上最先进的AI大模型，包括OpenAI的o1模型、Anthropic的Claude 3.7 Sonnet、Google的Gemini系列、以及多个开源模型。测试结果令人眼前一亮，同时也暴露了一些有趣的现象。

在KMMLU-REDUX的测试中，各个AI模型的表现呈现出明显的差异化特征。OpenAI的o1模型以81.14%的准确率排名第一，Claude 3.7 Sonnet紧随其后，达到了79.36%。有趣的是，具备"思考"能力的推理模型普遍比传统模型表现更好，这就像给学生更多时间思考确实能提高考试成绩一样。

然而，真正有趣的发现出现在KMMLU-PRO的测试中。研究团队不仅看准确率，还看AI是否真的能"通过"这些职业资格考试。就像真正的职业考试一样，仅仅总分高还不够，还需要在每个科目上都达到最低分数线（通常是40%），并且总平均分达到60%以上。

结果发现，Claude 3.7 Sonnet在"职业资格证书"获取方面表现最好，成功通过了14个专业中的12个，而准确率最高的o1模型却只通过了10个专业的考试。这个现象就像是一个学霸可能在某些科目上分数很高，但在其他科目上却可能不及格，导致无法获得整体的职业资格认证。

更加有趣的是不同专业领域的通过率差异。在医学相关的专业中，大多数AI模型都能达到执业标准，有些甚至能在药剂师考试中取得超过90%的分数。这表明AI在医学知识的掌握上相对比较全面和准确。

但在法律和会计税务领域，AI的表现就不那么乐观了。几乎所有的AI模型都无法通过司法书记员和注册会计师的考试，这两个职业的考试通过率为零。这个现象反映了一个重要问题：法律和会计工作需要对具体国家的法律法规和制度有深入的了解，而这些知识具有很强的地域性和时效性特征。

研究团队还发现了一个值得注意的现象：当他们把医学、会计、法律等专业的题目从简单的英文翻译版本换成真正的韩国本土专业考试题目时，AI的表现出现了显著差异。在医学领域，这种差异相对较小，因为医学知识在全球范围内相对统一。但在法律领域，差异就非常明显了，因为每个国家的法律制度都有其独特性。

这个发现具有重要的实践意义。它提醒我们，简单地将英文的AI测试翻译成其他语言并不能真正评估AI在该地区的专业能力。就像一个熟悉美国法律的律师不能直接在中国执业一样，AI也需要针对具体地区的专业知识进行专门的训练和评估。

研究团队还测试了"推理预算"对AI性能的影响。所谓推理预算，就是给AI更多的时间和计算资源来"思考"问题，就像给学生更多时间来答题一样。结果发现，在大多数专业领域，给AI更多思考时间确实能提高其表现，但在某些特定领域（如司法书记员考试）中，即使给再多时间，AI的表现也没有明显改善。

另一个有趣的发现是语言对AI性能的影响。研究团队发现，有些AI模型在使用英文提示时表现更好，而在使用韩文提示时表现会下降。这就像是一个在英语环境中学习的学生，回到中文环境中反而可能表现不如预期。这个现象提醒我们，AI的多语言能力可能还需要进一步提升。

为了确保测试的长期有效性，研究团队承诺每年更新KMMLU-PRO的题目，使用最新的职业资格考试内容。这种做法就像是每年更新驾照考试题目一样，确保测试始终反映最新的专业标准和要求。

这项研究的意义远超过了单纯的AI测试。它为AI在专业领域的部署提供了重要的评估工具。当一家医院想要使用AI助手来辅助诊断时，他们可以通过KMMLU-PRO中的医师资格考试来评估AI的专业能力。当一家会计事务所想要使用AI来处理税务工作时，他们也可以通过相应的专业考试来评估AI是否具备必要的专业知识。

研究结果也揭示了当前AI发展的一些局限性。虽然AI在某些领域表现出了令人印象深刻的能力，但在需要深入理解特定地区法律法规或复杂制度的领域，AI仍然面临着挑战。这提醒我们，AI的发展需要更加注重对具体应用场景的适应性。

从技术发展的角度来看，这项研究为AI的专业化训练指明了方向。传统的AI训练主要关注通用知识，而这项研究表明，未来的AI发展可能需要更多地关注专业化和本地化。就像培养专业人才需要专门的教育和训练一样，开发专业AI也需要针对性的数据和方法。

研究团队还发现，简单地增加AI模型的规模和参数数量并不能自动提高其在专业领域的表现。相反，模型的架构设计、训练方法、以及数据质量可能更加重要。这就像是培养一个专业人才不仅需要给他大量的书本知识，更需要提供高质量的实践经验和专业指导。

对于普通用户来说，这项研究提供了一个重要的参考框架。当我们在选择AI工具来处理专业工作时，不应该仅仅看AI在通用测试中的表现，而应该关注它在相关专业领域的具体能力。就像选择医生不仅要看他的学历，更要看他的专业资格和临床经验一样。

这项研究也为AI行业的发展提供了重要启示。随着AI技术的不断成熟，单纯的技术创新可能不再是竞争的唯一焦点。相反，如何让AI更好地适应具体的专业需求，如何确保AI的专业能力得到权威认证，这些可能成为未来AI发展的关键问题。

从监管的角度来看，这项研究为AI在专业领域的应用监管提供了有价值的工具。监管机构可以参考这种专业化测试的方法，建立相应的AI专业能力认证制度，确保AI在敏感专业领域的应用符合相关标准和要求。

研究团队还公开了他们的测试数据集，让其他研究者和开发者可以使用这些基准来评估自己的AI系统。这种开放共享的做法就像是建立了一个公共的"AI专业能力考试中心"，为整个行业的发展提供了统一的评估标准。

展望未来，这项研究可能催生出更多针对不同地区、不同专业的AI评估基准。就像每个国家都有自己的职业资格考试制度一样，未来可能会出现更多适合不同地区和专业的AI测试标准。这将有助于推动AI技术的全球化发展，同时保持对本地化需求的适应性。

归根结底，这项研究提醒我们，AI的发展不应该仅仅追求在通用测试中的高分，而应该关注在实际专业工作中的实用性和可靠性。就像培养人才不仅要看考试成绩，更要看实际工作能力一样，评估AI也应该从实际应用的角度出发。LG AI研究院的这项工作为AI向专业化、实用化方向发展提供了重要的评估工具和发展方向，对于推动AI技术在各个专业领域的健康发展具有重要意义。有兴趣深入了解技术细节的读者可以通过arXiv:2507.08924v1访问完整的研究论文。

Q&A

Q1：KMMLU-PRO测试和普通AI测试有什么不同？ A：KMMLU-PRO就像真正的职业资格考试，使用的是韩国国家专业执业资格考试的真实题目，测试AI是否具备在医学、法律、会计等专业领域工作的实际能力。而普通AI测试更像学校考试，主要考查学术知识。

Q2：为什么AI在医学领域表现好，但在法律领域表现差？ A：医学知识在全球相对统一，比如人体解剖学、药理学等基础知识差异不大。但法律具有强烈的地域性，每个国家的法律制度都不同，AI需要对具体国家的法律法规有深入了解才能胜任。

Q3：这个测试对普通人选择AI工具有什么帮助？ A：当你需要AI处理专业工作时，可以参考它在相关专业测试中的表现，而不是只看通用测试分数。比如选择医疗AI助手时，要看它在医师资格考试中的表现，选择法律AI时要看它在律师考试中的成绩。