
大模型学习
文章平均质量分 58
johnteller
这个人不懒,写了点什么
展开
-
尝鲜Gemini 2.0 Flash Thinking:谷歌AI新模型,一键体验透明推理的魅力
Gemini 2.0 Flash Thinking模型不仅具备解答复杂问题的能力,还能模仿人类进行逐步推理,将“思考”步骤逐一展现,这在以往的AI模型中是难以见到的。这款模型基于Gemini 2.0 Flash的速度和性能构建,在Chatbot Arena LLM排行榜上的表现尤为亮眼,在所有类别中均排名第一,较之前的Gemini-2.0-Flash模型有了显著提升。Gemini 2.0 Flash Thinking模型的推出,不仅是技术上的一次飞跃,更是AI透明度和可解释性的重大进步。原创 2024-12-24 10:29:28 · 1017 阅读 · 0 评论 -
vllm+llama模型出现<|eot_id|>并且一直输出至最大长度问题的解决方案
本人在使用vllm的openai接口部署llama3以及llama2时,出现了下面的模型输出结果:可以看到上面的输出存在两点问题:1. 输出中包含模型的eos_token_id信息;2. 模型接着上一段开始自行组织多轮对话直到max_tokens.本文提供了解决方案原创 2024-11-18 19:56:02 · 932 阅读 · 0 评论