自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(72)
  • 收藏
  • 关注

原创 Google 连续上新:Gemini 4 Carbon 强化 Agent,Genie 4 生成可交互世界

本文看点01 — Google 两天连发 Genie 4 与 Gemini 4 Carbon02 — 三项安全基准成绩与 AA 指数第一03 — 世界模型可生成后继续改角色与环境两天连发新模型,Google 相继公布了 Genie 4 和 Gemini 4 Carbon。两款模型方向各有侧重:Carbon 聚焦需要持续执行的 Agent 任务、编码与网络安全,Genie 4 则面向实时交互式世界模拟。

2026-11-13 19:25:22 198

原创 价格减半,复杂任务能做到哪一步?GPT 6.1 Terra 八项任务实测来了

GPT 6.1 Terra 展现出较广的任务覆盖能力,能够将文字、图像与数据要求转化为可操作、可编辑的成果。它在处理冲突信息和未确认事项时也表现出一定审慎性,为结果的可追溯性提供了支持。不足主要体现在要求落实的精细程度上:部分结果保留了任务的大体形式,却未充分实现指定效果或行为条件。这表明,其任务理解与具体执行之间仍存在落差,尤其需要提升细节表达和整体一致性。注:以上判断仅基于本轮 8 个案例及相应测试配置,不代表模型在其他任务或场景中的整体表现。SKYEVAL晓天衡宇评测社区。

2026-11-13 18:36:35 152

原创 Kimi K3.1 Pro 来了,我们用 8 道题给它上点难度

重新计算后,各列成本都变为 0.34,同一售价下的毛利率随之重复,原本的双因素分析只剩售价在起作用,也与备忘录摘表失去一致性。8 个案例中,Kimi K3.1 Pro 能够将场景、交互、计算与数据展示组织成可运行的整体,部分成果还实现了不同系统之间的联动。结果显示,模型能够完成多类任务的主体交付,将场景、交互和数据展示结合起来,也能识别部分数据矛盾与推断陷阱。其中,“仪表盘七轮改造”通过连续的修改、干扰、记忆验证与撤销,考察模型在多轮交互中保持已有约束的能力。缓存块扔出去后,能撞墙、撞守卫,也能落地反弹。

2026-11-06 18:48:56 176

原创 47 万 Token、七项任务,MiniMax M3.1 Flash 交付成色如何?

整体来看,MiniMax M3.1 Flash 在本轮七个案例中形成了较完整的主体交付,多个关键交互能够实际运行,办公汇报与小说也具备清晰的内容结构。但交付可靠性仍有不足:时间线存在事实错误,成本可视化存在重复计量,小说存在时间逻辑不一致,办公材料存在明细缺漏、数字格式与计算错误,部分任务要求未满足。正式使用前,应依据任务要求逐项验收,重点核对事实、计算公式和跨文件数据一致性,并补充完整交互流程与目标运行环境的兼容性检查。

2026-11-06 17:57:35 146

原创 当需求具体到图片尺寸,Nano Banana 2.1 交出了什么答案?

从本次实测结果来看,Nano Banana 2.1 的优势集中在视觉组织、产品材质表现和指定文案呈现;主要短板是精细空间关系、禁止项执行和精确规格控制。对于要求方向关系准确、修改范围严格受控或输出规格固定的交付,应在流程中设置逐项验收,教学与配色分析类任务还需增加知识和数据核验。注:本轮对 7 个案例各执行一遍预设测试流程,其中多轮编辑包含底图生成与四轮连续修改,未设置同题复测与对照模型,结果主要反映所列任务中的案例级表现,不能据此判断模型的稳定成功率、相对效率。

2026-10-30 16:21:20 28

原创 三款新模型能把工作做到哪一步?29 个职业任务见真章

WorkEval 评测基准及榜单已同步上线👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-26 17:16:23 205

原创 手机里的 AI 助手,谁更适合你?五款 AI 助手横评出炉

详细评测数据可查看晓天衡宇评测社区官网👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-26 16:11:46 246

原创 Muse Wonder 实测:Meta 新一代旗舰的六份答卷

这 6 份任务的交付显示,Muse Wonder 已能把复合需求转化为具体作品,并支持持续修改。后续更值得持续观察的是:当任务范围不断扩大、要求逐步叠加时,它能否在保留已有成果的同时,把状态一致性、页面衔接、异常提示、篇幅边界等细节约束落实得同样完整。注:本轮未设置同题复测与对照模型,也未完整验证跨会话持久记忆。关于 Active Memory 的观察仅限于连续对话中的信息更新与调用,不直接外推为长期记忆能力、稳定成功率、相对排名或长流程自主执行能力。

2026-10-23 16:54:36 160

原创 WorkEval 榜单更新|MiniMax M3.1 Flash 高分实力与红线风险并存

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-22 17:41:56 153

原创 网页、动画、游戏…看看 Gemini 4 Argon 的 8 份答卷

把这 8 份交付放在一起看,Gemini 4 Argon 已经能把不少复杂想法变成具体作品。更值得继续关注的是:当要求从“做出一个完整作品”细化到每一条规则、每一处证据时,它能否保持同样的完成水平。注:本轮未设置同题复测与对照模型,结论限于这 8 个具体任务,不直接外推为稳定成功率、相对排名或长流程自主执行能力。

2026-10-21 10:16:39 217

原创 WorkEval 榜单更新丨MiMo V2.6 Pro 超过 GPT 6 Sol,位列 Hard 子集榜国产第一

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-16 16:22:27 209

原创 冰壶竞技评测集及榜单发布:以物理结果检验模型行动规划

最新垂类领域榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-14 14:56:05 475

原创 从医学 PPT 到 3D 对撞机,8 道复杂任务实测 GPT-6.1 Sol

整体来看,GPT-6.1 Sol 在本次 8 个案例中都产出了与任务要求匹配的结果,并且多数交付可以直接运行和操作,同时在较短时间和相对克制的 Token 消耗下,把复杂任务做成了结构完整、视觉统一、具备主体功能的原型。但是如果是正式上线或者追求更加稳定的结果,还需要经过一轮兼容性、准确性的测试。注: 本次为 8 个最终交付的案例级验收,未设置同题复测和对照模型,也没有穷尽所有交互路径。结果只能反映这些具体任务中的表现,不能直接外推为模型的稳定成功率、相对排名或长任务能力。

2026-10-13 18:22:34 290

原创 Step 5 Preview 案例观察:连续工作 22 小时,网站和游戏也能一次生成

Step 5 Preview 是阶跃星辰推出的旗舰基座模型,采用稀疏混合专家(MoE)架构,总参数 600B,每个 Token 激活约 27B 参数,上下文窗口达到 1M Tokens,原生支持文本、图片和视频输入。与单项基准成绩相比,公开的具体案例更容易看出模型能够完成什么。在目前展示的任务中,Step 5 Preview 连续 22 小时优化 GPU 算子,用代码重建《清明上河图》风格场景,并生成工程图纸、分析报告、视频和海报等专业交付物。

2026-10-09 17:59:39 253

原创 世界模型怎么评?Happy World Arena 给出答案

Happy World Arena已同步上线至晓天衡宇评测社区官网,欢迎点击访问查看更详细的评测数据。

2026-10-08 18:31:04 62

原创 Grok 4.7 九项实测:复杂原型铺得全,关键流程仍需验收

整体来看,在本次九个测试题中,Grok 4.7 均产出了与任务类型相匹配的结果,覆盖文字创作、品牌页面、SVG 动画、物理游戏、科学可视化和 3D 拆解。但由于任务数量有限,且未设置同题复测和对照模型,本次结果主要反映案例级表现,不能直接外推为模型在编码、创作及长任务 Agent 场景上的稳定水平。注:本次为 9 个案例的单次生成测试,未设置同题复测与对照模型,结果主要反映所列任务中的案例级表现,不能据此判断模型的稳定成功率、相对效率或长任务 Agent 能力。

2026-10-08 17:33:51 348

原创 Opus 5.5 开发者案例观察:从可交互镜头实验室到“约 1 分钟”代码广告

这些案例更值得关注的,并不是“Opus 5.5 会不会生成视频”,而是代码模型正在进入内容生产链:简单动效可以直接用代码绘制,复杂视频则由 Agent 调用专业生成工具完成。模型的角色从单次内容生成,向需求理解、流程拆解、工具调度和结果检查延伸。注:文中数据和案例主要来自 Anthropic 官方披露和不同开发者公开的测试记录。不同任务的工具、推理强度和运行环境并不统一,结果不能直接视为统一条件下的横向结论。数据来源:Anthropic 官方公告及 X 社区。

2026-10-08 17:31:53 141

原创 金融竞技场 S3 赛段一收官:从分析到成交,大模型金融操作能力全记录

金融竞技场 S3 赛段一没有给出“大模型是否会炒股”的简单答案,而是让大模型进行金融决策的过程变得可以观察:模型如何选择证据、处理专家分歧、形成交易指令、面对浮亏,以及是否愿意在市场变化后修正判断。优选股赛道全员亏损,说明完整的基本面分析、技术指标和行业逻辑并不能自动转化为有效交易;ST股赛道多数模型盈利,则说明在事件驱动、价格趋势和风险标签更突出的环境中,赛段一参评的大部分模型能够通过快速分类、分批止盈和风险规避获得阶段性收益。

2026-10-08 15:54:14 201

原创 FilmBench 榜单更新:Seedance 2.5 登顶双榜,Wan 3.0 跻身第一梯队

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-10-08 15:01:15 375

原创 9 大 AI 分析五大联赛及欧冠,让大模型提前剧透足球比赛

从世界杯到整个俱乐部赛季,晓天衡宇五大联赛 · 欧冠 AI 预测竞技场把短期集中测试延长为长周期动态评测,让模型在统一规则下持续接受真实赛果检验,也让置信度校准与长链稳定性逐渐显现。「五大联赛 · 欧冠 AI 竞技场」已上线晓天衡宇评测社区官网,点击查看今日比赛预测、9 大模型分析、置信度曲线与实时积分榜。

2026-09-30 15:57:05 168

原创 晓天衡宇亮相 2026 云栖大会:迈向更可信的高质量评测

从评测集质量的衡量与提升,到评测方法与裁判工具的探索;从真实任务中的模型能力验证,到评测结果的应用转化,晓天衡宇始终探索一个核心问题:什么样的评测,真正值得相信。未来,晓天衡宇将持续完善评测基准、方法与应用体系,为行业提供更加系统的模型能力参考与决策依据,回应 AI 落地加速过程中不断涌现的新命题。访问官网:晓天衡宇评测社区。

2026-09-30 15:24:22 314

原创 SciTaste 科研品味榜单发布:工具配置收益分化,学科表现各有差异

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-09-21 17:29:31 147

原创 我们开源了一个三国游戏竞技场:让大模型打一场持续200回合的仗

你有没有想过:如果把GPT、Claude、Qwen、DeepSeek这些大模型放进三国的世界里,让它们各领一路诸侯,会发生什么?在「三国游戏竞技场」里,我们让这样的想象变成了可能。三国游戏竞技场是一个以三国策略模拟游戏为载体的大模型Agent评测平台,多个模型在同一套规则下持续博弈,系统不仅记录最终胜负,还会保存逐回合的观察、规划、工具调用、外交承诺和行动结果,用来分析模型为什么赢、又为什么失败。规则很简单:每个大模型掌管一路势力,选谁做军师、哪座城先征兵、要不要向邻国示好等这些策略全由模型自己判断。

2026-09-09 18:11:12 142

原创 Seedance 2.5 登顶图生视频榜单,Wan 3.0 在游戏与教育场景进入前列

最新多模态模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-09-07 17:38:51 398

原创 文生视频榜单更新:Seedance 2.5 登顶,Wan 3.0 位列第三且生成成功率达 100%

最新模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-09-07 17:18:58 463

原创 大语言模型 9 月榜单:两款低成本模型进入前 15,最低评测推理成本降至 301 元

最新大语言模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎大家访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-09-07 16:55:37 464

原创 假设竞技场榜单发布:Claude Opus 5 竞技场双榜登顶,GPT 5.5 综合得分榜领先

最新模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-09-07 13:27:06 423

原创 Qwen-Image-Bench 榜单更新:19 款文生图模型同榜评测,GPT Image 2 与 Qwen Image 3 Pro 领跑前 2

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-26 17:51:59 467

原创 FSR-Bench 榜单更新:Qwen3.8-Max 开工具配置位列第 5,双配置均进入前十

最新垂类领域模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-24 17:33:07 369

原创 8月大语言模型榜单更新:Grok 4.6 跻身前三,四款新模型如何取舍?

最新大语言模型评测榜单已同步上线至晓天衡宇•评测社区官网,欢迎大家访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-21 16:23:09 203

原创 Qwen3.8-Max 深度评测:综合分距 GPT-5.5(xhigh)0.81,Reasoning与成本表现突出

最新大语言模型评测榜单已同步上线至晓天衡宇•评测社区官网,欢迎大家访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-19 15:17:16 723

原创 MedPRMBench 医学推理过程验证榜单发布:MedPRM 以 87.1 分居首,领先 GPT-5.4 11.7 分

👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-13 13:53:55 233

原创 大语言模型 8 月榜单更新:Claude Opus 5 登顶,Gemini 3.6-Flash 与 DeepSeek-V4 Flash 展现差异化优势

最新 8 月大语言模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-11 13:57:53 429

原创 ClinConsensus 中文医疗榜单发布:GPT-5.2 居首,跨过门槛只是第一步

ClinConsensus 是为检验这类能力而构建的大模型评测基准,聚焦复杂临床问答、诊断推理、治疗建议与随访管理等关键能力。它以真实脱敏临床案例为题,将评测重点从“回答是否合理”推进到“回答是否逐条满足临床要求”,旨在检验模型在真实复杂医疗场景中的决策稳定性与输出合规性,探索真实临床使用价值。

2026-08-07 14:30:01 359

原创 FSR-Bench 前沿科学推理榜单发布:GPT-5.5 居首,“会推理”未必“能答对”

最新垂类领域模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-08-06 14:50:49 282

原创 18 款多模态模型挑战FeynmanBench,最高不足 50 分

多模态大模型已能识别图片、读取图表甚至解答部分大学物理题,但模型究竟只是在识别局部元素,还是真正理解了整张图背后的结构逻辑?费曼图正适合检验这种能力——看似简单的线条与顶点,实则对应严格的粒子相互作用、动量流向与数学表达式,粒子类型或连接关系的变化,可能对应不同的相互作用拓扑和振幅项。FeynmanBench是为检验这类能力而构建的多模态评测基准,主要考察多模态模型能否理解全局拓扑、验证动量守恒并推导完整的费曼振幅。

2026-08-05 15:57:47 218

原创 文生视频榜单解读:10 款模型内容效果、场景与效率多维对比

最新多模态模型榜单已同步上线至晓天衡宇•评测社区官网,欢迎大家访问查看更详细的评测数据。👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-07-27 16:09:54 373

原创 11 款图生视频模型横评:Seedance 2.0领跑,场景表现却各有胜负

最新多模态模型评测榜单已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-07-27 10:26:18 348

原创 Kimi-K3 深度评测:综合得分领跑国产模型,Coding 与成本效率成核心优势

【摘要】MoonShotAI最新发布的Kimi-K3模型在晓天衡宇大语言模型评测中表现亮眼,综合得分68.31位列总榜第4,成为国产及开源模型之首。评测显示该模型在代码生成(Coding维度第2)和科学推理方面优势突出,长上下文处理能力达88.9分,但复杂任务规划(Agentic维度第4)和场景推理仍是短板。相比前代K2.5/K2.6,K3在参数规模扩大至2800B后实现12.34分的显著跃升,虽推理速度38Tokens/s略逊于GPT-5.6等竞品,但成本优势显著(API价格仅42元)。评测建议其适合代码

2026-07-22 10:22:58 864

原创 GPT-5.6 Sol(Max)深度评测:Agentic 维度领先,成本相对低于前沿模型

最新大语言模型评测榜单已同步上线至晓天衡宇•评测社区官网,欢迎大家访问查看更详细的评测数据。👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~

2026-07-21 11:12:02 508

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除