
谷歌新推多模态模型,Gemma 4 表现亮眼
我试用了谷歌新推出的多模态模型系列,其中一些变体足够紧凑,可以在本地设备上运行,而且表现出色。谷歌的 Gemma 4 被誉为谷歌多模态模型产品的最新进化成果。它不仅具备推理和工具使用能力,还拥有视觉和音频功能,并且提供了多种针对服务器和本地设备的模型尺寸。重点是,即使是其较大尺寸的版本,在个人硬件上也能有不错的表现。谷歌称这得益于模型架构的创新,但实践才是检验真理的唯一标准。Gemma 4 的响应速度相当快,为此,我在自己的硬件上对 Gemma 4 进行了测试,看看它在宣传的各项任务中的表现如何。
Gemma 4 模型尺寸多样
Gemma 4 有四种基本尺寸或“密度”:
- E2B:有效参数 23 亿,总参数 51 亿,最大上下文窗口 128K。
- E4B:有效参数 45 亿,总参数 80 亿,最大上下文窗口 128K。
- 31B:参数 310 亿(“密集”版本),最大上下文窗口 256K。(你可能不会在自己的机器上使用这个版本,因为它有 62GB!)
- 26B A4B:一种“专家混合”模型,“激活”参数 40 亿,总参数 260 亿,最大上下文窗口 256K。
由于 Gemma 4 采用了 Apache 2 许可证,每个模型尺寸都有大量社区创建的版本。例如,26B A4B 模型有社区版,采用了更紧凑的量化方式(4 位、6 位等),我在本文中就使用了其中一种模型组合。我使用的模型如下:
- google/gemma - 4 - 26b - a4b:模型大小 18GB,4 位量化。
- lmstudio - community/gemma - 4 - E4B - it - GGUF:模型大小 6.3GB,4 位量化。
- unsloth/gemma - 4 - E4B - it - GGUF:同一模型的另一种流行组合,有多种量化版本。我使用了 4.84GB 大小、4 位量化的版本。
测试系统和提示丰富
我使用自己常用的测试平台来运行每个模型:在 AMD Ryzen 5 3600 6 核 CPU(32GB 内存)和 Nvidia GeForce RTX 5060(8GB 显存)上运行 LM Studio 0.4.10。对于每个模型,我运行了一组提示:
- 视觉功能提示:“为附带的图像创建不超过三句话的说明。”另一个版本的提示还添加了:“……不进行编辑性评论。”(附带的图像见下面的截图之一。)
- 旨在激发网络搜索工具使用并产生详细或简化响应的提示:“弗兰兹·卡夫卡作品的版权状况如何?详细解释”以及“威廉·吉布森如何评价《银翼杀手》?”
- 代码生成和问题解决提示:“Python 的 pip 工具中有一个 ScriptMaker 函数(可通过 from pip._vendor.distlib.scripts import ScriptMaker 访问)。在微软 Windows 系统中,当使用 pip 安装 Python 包时,该函数用于为包的入口点创建一个 .exe 存根启动器。然而,为这个存根创建的图标与 Python 运行时本身使用的通用图标相同。让我们编写一个 Python 实用程序,允许用户将自己的自定义图标附加到 .exe 存根上,同时保留存根附加的存档和其他元数据。该实用程序应仅使用 Python 标准库,并且应尽可能简单。”
- 另一个与代码相关的提示:“我附上了一个 Python 程序,它可以将 Python 应用程序打包,以便在独立的 Python 运行时实例中运行。该程序的一个缺点是它的模块化程度不高。分析该程序并提出一些提高其模块化程度的建议,以便它可以作为一个带有各种高级行为钩子的库使用。”
Gemma 4 实战表现有差异
26B 模型接近我测试硬件能够舒适运行的上限。我无法将整个模型放入 GPU 内存,但我将前 12 层设置为在 GPU 上运行(占用 7.51GB 显存),并将上下文长度设置为 16384 个令牌(总共占用 18.76GB 内存)。让无法完全放入显存的模型获得良好性能一直是个挑战。不过,得益于其“专家混合”设计,Gemma 4 有一个提升性能的特性。LM Studio 通过一个目前标记为实验性的设置来暴露这个特性。你可以选择将模型的多少层“强制将专家混合(MoE)权重放到 CPU 上”,这样可以节省显存并加快推理速度。
对于使用 MoE 设计的模型,LM Studio 中的这个实验性设置会强制将模型这部分的权重放在 CPU 上运行,而不是 GPU。对于 Gemma 4,这使得内存放不下的大模型速度大幅提升。如果不强制使用 MoE,整体推理时间和令牌生成速度会急剧下降;即使是简单查询,模型每秒平均也只能生成 1.5 个令牌。开启 MoE 强制设置(支持的最大层数为 30)后,令牌生成速度根据系统的其他负载情况,可提升到每秒 5 到 13 个令牌。这与较小模型的速度相比仍有很大差距,但可用性大大提高。为了更快得到首个令牌的结果,你可以禁用思考过程,但可能会导致输出不够完善。
在代码生成查询中,Gemma 4 思考了 6 分 26 秒,生成响应花了超过 8 分钟(5013 个令牌,每秒 9.55 个令牌)。生成的代码和解释与不进行思考的版本相比,并没有明显更高级或详细。
当我切换到 E4B 模型的 LM Studio 社区版时,我将所有 42 层都放在 GPU 上,并将上下文设置为 16384,这些都能轻松放入显存,还有剩余空间。结果是速度大幅提升:每秒 72 个令牌。较小的模型在某些查询上不够具体——特别是代码生成查询,它没有生成一个完整的代码示例,只是给出了一个概念框架——但在分析问题和提出建设性方法方面仍然表现不错。E4B 模型的“unsloth”版本虽然稍小一些,但性能和实用性与其他版本相当。
对于“使这个程序更具模块化”的提示,在所有版本的模型给出的建议方面,我得到了大致相同的结果。唯一的主要区别是较小的模型运行速度要快得多——每秒 73.85 和 71.73 个令牌,而大模型为每秒 9.3 个令牌。
Gemma 4 总结:小模型或成首选
在本地运行 Gemma 4 的最大收获是,较大版本模型中的专家混合设计使其即使在无法完全放入显存的系统上也很有用。较小版本的模型,即使在较低量化水平下,表现也不错。它们的结果生成速度快很多,还能释放更多内存用于更大的上下文窗口。因此,在尝试更大的模型之前,较小的模型非常值得作为首选进行实验。那么,你会优先选择小模型来体验 Gemma 4 吗?
592



被折叠的 条评论
为什么被折叠?



