国内大语言模型对比评测（三）

原创 已于 2024-02-21 21:25:08 修改 · 2.5w 阅读 · 39 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

于 2024-02-21 21:19:03 首次发布

国内大语言模型对比评测（三）

针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。

我们所用到的国产大语言模型如下：

百度文心大模型3.5

阿里通义大模型

腾讯混元大模型

讯飞星火认知大模型

抖音云雀大模型

智谱清言

百川智能

MINIMAX

我们所涉及的测试问题主要涉及以下方面：自然语言理解、推理、创造性、情感和意图分析、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。

评测系列文章：

文章目录

九. 数学

测试问题："找出数列 2,4,8,16,…的下一个数"
评测结果：国产大语言模型在简单的数学推理结果均正确，其中百度文心3.5、抖音云雀、智谱清言思维链条较为完整

百度文心一言3.5

阿里通义千问

腾讯混元

讯飞星火

抖音云雀

智谱清言

百川智能

MINIMAX

十. 医学

测试问题："一名患者出现发热、头痛和关节疼痛，可能的诊断是什么？"
评测结果：国产大语言模型在医学诊断中结果几乎一致

百度文心一言3.5

阿里通义千问

腾讯混元

讯飞星火

抖音云雀

智谱清言

百川智能

MINIMAX

十一. 多模态

测试问题：
(1) 文本到图像
1. 生成特定场景的图像: "请生成一幅描绘夜晚巴黎街头，街边有一家热闹的咖啡馆的图像。"
2. 基于描述创建艺术作品: "请根据梵高的画风，创作一幅展示乡村风景、有旋转的星空和鲜艳的月亮的图画。"
(2) 图像到文本
1. 图像描述: 提供一张图片，让模型描述图片中发生的事情或图片的内容。
2. 图像故事讲述: 提供一系列图片，让模型根据图片顺序编织一个故事。
(3) 交互式问题
1. 解决问题: "根据这张厨房的照片，告诉我如何重新组织以节省空间？"
2. 教育活动: "使用这些动物的图片，为儿童创作一个关于
最低0.47元/天 解锁文章
七款国产AI大模型：Kimi，智谱清言，通义千问，文心一言，豆包，天工AI，讯飞，各自的优缺点是什么？
qq_46094651的博客
12-12 7928
优点：Kimi这货，免费还能多平台支持，不光能实时联网，处理长文本也不带喘的，简直就是程序员的贴心小棉袄啊。缺点：不过呢，这家伙在特定领域翻译上就有点儿不太行，有时候还会抽风宕机，咱也不知道它为啥这么脆弱。优点：智谱清言是清华系的，不光会码代码，还能画图表，简直就是学霸中的学霸。尤其是它的多模态处理和图片理解能力，真心厉害。缺点：不过，别太指望它啥都懂，遇到特别复杂或者前沿的东西，它有时候也会掉链子。优点：阿里云的招牌产品，超大规模，能聊会说，还能处理多语言，厉害得不得了。
国内大语言模型对比评测（一）
zhangchuangzhuang的博客
02-04 1万+
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
国产AI大模型哪家强？十大维度横评四款主流大模型！
2301_76161259的博客
04-29 4262
这部分的最后，我们来看看四款大模型对文本的总结提炼能力。小编从IT之家随机选择了一篇新闻资讯，分别让四款大模型将这篇新闻总结成一句话的摘要。先看文心一言的表现，虽然是总结了，意思也正确，但总结得比较啰嗦，而且不符合“一句话”的要求：通义千问也有类似的问题，总结啰嗦，而且超过一句话的限制：360 智脑在这一项中表现不错，一句话准确总结了这段文章的大意：讯飞星火提炼得也很精炼，一句话搞定，而且意思准确。在这一环节，四款大模型产品的得分分别为：讯飞星火：10 分通义千问：8 分（摘要提炼 - 2）
九大国产AI大模型深度对比，第二款简直是宝藏！我和6亿人都在用
daniellq的博客
10-24 1万+
阿里家的这位，算是博学多才！文心一言的学习能力杠杠的，各种任务都能上手，算是 AI 界的全能选手。是：天工 AI 和讯飞星火虽然现在还在追赶，但是它们在各自的专攻领域已经展现出了惊人的潜力，估计再练练就能赶上来！是：文心一言，豆包，通义千问，秘塔和腾讯元宝就像是那种有特长的选手，某些领域特别在行，但可能不是样样都能拿第一。大全目前专注于小白 AI 入门领域的研究，分享从 0 到 1 入门 AI，ChatGPT 知识的系统性教程，但是，让它处理其他领域的问题，就有点像数学老师去教体育，可能就不那么在行了。
2023年6月 国内大语言模型对比【国内模型正在崛起】
QAQterrible的博客
06-06 1993
先说一下这个文章怎么来的。因为朋友问我大语言模型可以生成公务员面试回答不，我说可以啊。之前看文心有这个服务。我想最近好几个模型也没用了测一把！结果！大吃一惊！我觉得我的三个傻孩子长大了！（chatglm130B才出的没算进去）你是一名参加公务员考试的考生，请根据公务员考试结构化面试的评分标准，口语化地回答以下问题，字数控制在400字左右。假如你上岗后，领导交代你和一位同事共同完成本单位的财务迎检工作，他自顾自干活，你会怎么做？国外的：claude。
国产大语言模型对比评测（二）
zhangchuangzhuang的博客
02-20 1万+
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。、数学推理、医学诊断、多模态理解和生成。
国内外十大语言模型横向对比测评（截至2023.12.8）
qq_40773212的博客
01-12 2917
主要参考资料：B站Up主贯一智能科技《国内外十大语言模型之横向对比测评》现在有非常多的开源测试数据集，比如MMLU、AGIEval、CEval但是根据Up主描述比较费时成本高，其次这类标准化评测更多考察模型在各个学科和领域的综合表现，不够直观。下面是Up主选择的10个方面。限制实验提示词一律使用汉语，每次测试后都会重启对话。
5款国产大语言模型测评报告
superheromen的博客
04-07 4511
ChatGPT的推出，对整个科技行业而言可谓“平地起惊雷”，正式拉开了大模型产业蓬勃发展的序幕。目前已有多款大模型上线并面向公众提供服务。不过，这些产品在性能、易用性等方面都有所不同。那么究竟哪个更好用呢？本文将从诗歌、作文、数学、专业领域(以计算机领域为例)这四个角度去分析各个国产大语言模型的特点，并结合一些工具和自己的主观感受来对各个大模型进行评测。
国产大模型对比：文心、豆包、通义...哪家最好？基于最公允大模型排行榜细致整理
热门推荐
whisperzzza的博客
11-09 6万+
虽然国外模型的能力目前还领先4个月左右，但考虑安全性与响应速度等因素，在国内最好还是选择国内的模型。 不过，面对众多的大模型 ： 如文心、豆包、通义等，市面上已经有好几百个国产大模型，如何挑选合适自己的模型就成为了一大难题。 同时，目前市场上关于大模型能力的排行榜种类繁多，不光有国外的各种模型评测，还有国内大学也都纷纷提出了自己的模型评测 ，但要找到一个准确且有区分度模型排名并不容易。 本文就是我调研的结果，主要回答两个问题： 1）国内大模型哪些比较好？ 2）这些排名，是什么原理？哪个最值得参考
大语言模型-对比学习-Contrastive Learning
weixin_42045968的博客
07-24 2105
对比学习 是一种特殊的`无监督学习方法`。 旨在通过`拉近相关样本的距离`并且`推远不相关样本的距离`，来学习`数据表示`。 通常使用一种高自由度、自定义的规则来`生成正负样本`。在模型预训练中有着广泛的应用。
文心一言、Kimi等4款AI大模型测评对比及推荐（AI大模型训练）
EnjoyEDU的博客
07-12 6074
在实际使用中，我一般会选择文心一言4.0加kimi AI的组合。用kimiAI搜索资料、拓展内容，它是我目前比较喜欢用的搜索方式，在向kimiAI提问时，我会先看它给的回答，然后看它给的参考资料，其中有哪些资料是权威、官方的，比如数据报告等，在这些资料中找一找是否有新的信息。这样的搜索方式，比百度、小红书、微信搜索更加精准快速。文本创作时，我会倾向于用文心一言4.0，它生成的内容更加流畅、符合逻辑，内容质量相对更高。
大模型：国内主要大模型的对比及其特点总结
最新发布
meisongqing的博客
04-01 4200
国产模型在长上下文、多模态对齐、行业适配等方面形成差异化优势，但复杂推理和创造性任务仍与GPT-4存在约12-18个月代差。：书生·浦语（工具调用）、InternLM（长文本）：通义千问（全尺寸开源）、Yi系列（数学/代码）开源版本齐全（1.5B/7B/14B/72B）：ChatGLM（端侧优化）、星火（语音交互）：MoE混合专家模型（最大1.8万亿参数）：文心一言（合规性强）、盘古（行业定制）多模态能力突出（文本、图像、视频生成）教育领域专用优化（试题解析、教案生成）支持超长上下文（百万token级）
现今大语言模型性能（准确率）比较
ZJQ的博客
03-01 573
列出参与比较的不同大语言模型名称，包括LLAMA3（70B）、LLAMA3（8B）、GPT-3（175B）、PaLM（540B）、LLAMA2（7B）。括号内的数字代表模型的参数量，一般来说参数量越大，模型的规模和潜在能力可能越强。 - **GLUE**、**SQuAD**、**HumanEval**、**APPS**、**MATH**、**StrategyQA**：这些都是不同的评估基准测试集。
大小语言模型对比分析及启示
m0_59235245的博客
08-02 1348
过去一年多来，大语言模型（LLM）从 GPT-3.5、GPT-4 到 Llama等开源模型,一直备受关注。然而，近期一些迹象表明，小语言模型（SLM）正逐渐获得越来越多的重视，微软、GOOGLE等AI领域的大佬们纷纷开始下注小语言模型。出现这一趋势的原因何在，将给运营商带来哪些启示？LLM （大语言模型）的参数数量可以达到数千亿甚至数万亿。而SLM(小语言模型) 通常具有数亿或数十亿个参数，SLM 的训练和运行所需的时间和资源要少得多，这使得它们更加适合于资源有限的设备和应用。
中国开源大模型介绍与比较
AngelCryToo的专栏
10-11 2550
由华为推出的盘古大模型是一个自然语言处理（NLP）模型，支持文本生成和理解。其在多种应用场景中表现出色，如问答系统和对话生成。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3149
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
大模型、大语言模型、大型语言模型的区别和关系
2401_86154451的博客
07-25 4633
大模型”、“大语言模型”和“大型语言模型”这些术语在很多情况下可以互换使用，但它们在具体语境中可能会有细微的差别。
【国产AI大模型横评】十大维度对比四款主流模型，哪家最强？
2401_84204207的博客
01-20 5320
这部分的最后，我们来看看四款大模型对文本的总结提炼能力。小编从IT之家随机选择了一篇新闻资讯，分别让四款大模型将这篇新闻总结成一句话的摘要。先看文心一言的表现，虽然是总结了，意思也正确，但总结得比较啰嗦，而且不符合“一句话”的要求：通义千问也有类似的问题，总结啰嗦，而且超过一句话的限制：360智脑在这一项中表现不错，一句话准确总结了这段文章的大意：讯飞星火提炼得也很精炼，一句话搞定，而且意思准确。在这一环节，四款大模型产品的得分分别为：讯飞星火：10分通义千问：8分（摘要提炼-2）
国内外主流大模型语言技术大比拼
06-02 3435
国内外主流大模型语言技术大比拼
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员张小闯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值