刚刚,LMArena最新模型榜单出炉!DeepSeek-R1网页编程能力赶超了Claude Opus 4

来源 | 机器之心

在开源模型领域,DeepSeek 又带来了惊喜。

上个月 28 号,DeepSeek 来了波小更新,其 R1 推理模型升级到了最新版本(0528),并公开了模型及权重。

这一次,R1-0528 进一步改进了基准测试性能,提升了前端功能,减少了幻觉,支持 JSON 输出和函数调用。

图片

今天,业界知名、但近期也陷入争议(曾被指出对 OpenAI、谷歌及 Meta 的大模型存在偏袒)的大模型公共基准测试平台 LMArena 公布了最新的性能排行榜,其中 DeepSeek-R1(0528)的成绩尤为引人瞩目。

图片

其中,在文本基准测试(Text)中,DeepSeek-R1(0528)整体排名第 6,在开放模型中排名第一。

图片

具体到以下细分领域:

  • 在硬提示词(Hard Prompt)测试中排名第 4

  • 在编程(Coding)测试中排名第 2

  • 在数学(Math)测试中排名第 5

  • 在创意性写作(Creative Writing)测试中排名第 6

  • 在指令遵循(Intruction Fellowing)测试中排名第 9

  • 在更长查询(Longer Query)测试中排名第 8

  • 在多轮(Multi-Turn)测试中排名第 7

图片

此外,在 WebDev Arena 平台上,DeepSeek-R1(0528)与 Gemini-2.5-Pro-Preview-06-05、Claude Opus 4 (20250514) 等闭源大模型并列第一,在分数上更是超过了 Claude Opus 4。

图片

WebDev Arena 是 LMArena 团队开发的实时 AI 编程竞赛平台,让各家大语言模型进行网页开发挑战,衡量的是人类对模型构建美观且功能强大的 Web 应用能力的偏好。

DeepSeek-R1(0528)表现出来的强大性能激起了更多人使用的欲望。

图片

还有人表示,鉴于 Claude 长期以来一直是 AI 编程领域的基准,如今 DeepSeek-R1(0528)在性能上与 Claude Opus 相当,这是一个里程碑时刻,也是开源 AI 的关键时刻。

DeepSeek-R1(0528)在完全开放的 MIT 协议下提供了领先的性能,并能与最好的闭源模型媲美。虽然这一突破在 Web 开发中最为明显,但其影响可能延伸到更广泛的编程领域。

不过,原始性能并不能定义现实世界的表现。虽然 DeepSeek-R1(0528)在技术能力上可能与 Claude 相当,但其是否可以在日常工作流程中提供媲美 Claude 的用户体验,这些需要更多的实际验证。

图片

高强度使用过 DeepSeek-R1(0528)的小伙伴,可以在评论区留言,谈一谈自己的体验感受。

参考链接:

https://lmarena.ai/leaderboard/text

https://x.com/lmarena_ai/status/1934650639906197871

### DeepSeek-R1-Distill-Qwen-14B 模型介绍 DeepSeek-R1-Distill-Qwen-14B 是通过从大型预训练模型 DeepSeek-R1 进行知识蒸馏得到的一个较为紧凑的密集模型。该模型继承了 DeepSeek-R1 的强大推理能力和广泛的知识库,但在参数量上显著减少至 140 亿个参数[^2]。 #### 特点 1. **高效推理能力** 尽管参数规模减小,但 DeepSeek-R1-Distill-Qwen-14B 在多个基准测试中表现出色,在某些特定任务上的表现甚至超过了更大规模的基础模型 QwQ-32B-Preview。这种高效的推理能力使得其成为处理复杂自然语言理解和生成任务的理想选择。 2. **优化资源利用** 减少后的参数数量不仅降低了计算成本,还提高了部署灵活性。相比原始的大规模模型,此版本更适合于资源受限环境下的应用开发和实际部署。 3. **卓越的任务适应性** 继承自 DeepSeek-R1 的先进架构设计以及监督学习与强化学习相结合的方法论,赋予了这个较小型号出色的泛化能力和多领域适用性。特别是在数学竞赛类任务如 AIME 2024 中的表现尤为突出,超越了 GPT-4o 和 Claude 3.5 等竞争对手[^3]。 #### 应用场景 鉴于上述特性,DeepSeek-R1-Distill-Qwen-14B 可应用于多种场合: - **教育辅助工具**:能够帮助学生解答复杂的数理逻辑题目,提供精准的学习指导; - **智能客服系统**:凭借强大的语义理解力快速响应用户咨询并给出恰当建议; - **自动化写作平台**:支持高质量文章创作、摘要提取等功能需求; - **企业级数据分析服务**:用于构建高性能的数据挖掘算法或预测分析引擎。 ```python # 示例代码展示如何加载并使用 DeepSeek-R1-Distill-Qwen-14B 模型进行文本分类任务 from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "deepseek-ai/deepseek-r1-distill-qwen-14b" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) def classify_text(text_input): inputs = tokenizer(text_input, return_tensors="pt", truncation=True, padding=True) outputs = model(**inputs) predictions = torch.argmax(outputs.logits, dim=-1).item() return predictions ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值