本次主要对文心一言4.5模型进行知识百科的问答测评,总共测评20个题目,答对16个题目
测评结论
- 模型的响应速度很快,几乎是秒级响应,输入内容就直接开始输出对应的答案。
- 指令的遵循和理解是有待提升的,输出的格式其实没有那么的直接和规整。
- 针对于百科问答仍然有局限性,有些内容还是回答错误。但整体回答的准确率相比其他模型还是可以的。
- 个别题目本身可能较难,对于回答错误的题目。换做其他模型也是常错题,对比的模型有kimi、GPT-4o、O3-mini、deepseek V3
想交流AI实战经验、获取一线AI情报的,🔍🔍:fushuai713
备注:职位_来源,如电商运营_优快云
测试展现
由于测的内容偏多,篇幅有限,只展示其中的一部分。
指令遵循问题
针对这道题并没有给出具体答案,只是模型做了一下自己的分析。
回答错误
正确答案:《二战中的指挥官》
正确答案:第九话
正确答案:联发科Helio X30
注意:回答错误的题目,对其他模型也是常错的题。
回答正确的题目较多,在这里就不做出每个题目详细的展示。
意外case
评测过程中发现了一个奇怪事情,就是如果某个题目有一定的难度或者逻辑推理。他时不时的会进行卡死,并且如果能输出也要反应比较长时间。
不知道是巧合还是它里面有什么样的策略,这个等稍后我们再尝试,看能不能复现。
本来以为是服务器繁忙导致了这样的报错。
但是在换了个题目之后,还是能够秒级反应输出结果。
再输入之前输出报错题目,又会出现那种长时间反应最终报错的情况。
后续
后面会对4.5模型在自媒体的应用进行评测,还会对X1模型进行测试,此外还有Gemini、grok3等系列deep research的测评文章
希望小伙伴们点击下面链接👇🏻👇🏻并关注,持续分享一线的AI情报。
https://mp.weixin.qq.com/s/SNykqFN0r-toHNQ1ZSU65ghttps://mp.weixin.qq.com/s/SNykqFN0r-toHNQ1ZSU65g