AI资讯 | 谷歌推出开源大模型Gemma2:支持270亿参数

一、模型介绍:

  1. Gemma 2系列包括三种规模的模型:27B(270亿参数)、9B(90亿参数)和2.6B(26亿参数)。其中27B和9B模型已经发布,2.6B模型即将发布。

  2. Gemma 2模型分为两个版本,分别为90亿参数(9B)和270亿参数(27B),两者均展现出卓越的性能和效率优势。

  3. 与第一代相比,Gemma 2在推理性能和谷歌在新闻稿中表示,27B版本的Gemma 2不仅性能媲美两倍规模的主流模型,而且只需一片英伟达H100 Tensor Core GPU或TPU主机就能实现这种惊人性能,从而极大地降低了部署成本效率方面有了质的飞跃,并且在安全性方面也取得了重大进步。

  4. 此外,9B版本的Gemma 2也表现出色,优于Llama 3 8B等同规模的开源模型。未来几个月内,谷歌还计划发布参数为26亿的Gemma 2模型,更适合智能手机等人工智能应用场景。

二、模型特点:

性能卓越:27B版本在同规模级别中表现最佳,甚至比两倍尺寸的机型更具竞争力。9B版本也处于领先地位,在同类产品中超越了Llama 3 8B等开放模型。

效率和成本:27B Gemma 2模型可在单个谷歌云TPU主机、英伟达A100 80GB Tensor Core GPU或英伟达H100 Tensor Core GPU上高效运行推理,保持高性能的同时大幅降低成本。这使得人工智能部署更加容易实现,预算也更加合理。

跨硬件快速推理:经过优化的Gemma 2可以在各种硬件上以惊人速度运行,从功能强大的游戏笔记本电脑和高端台。

三、模型部署(通过 Ollama 部署大模型)

  1. 下载并安装 Ollama 软件(Windows/Linux/MacOS 均支持):Download Ollama on macOS
  2. 通过 Ollama 下载并启动 Gemma 2 大模型
  3. 需要耐心等待模型下载完成。下载完成之后,Ollama 自动启动模型,就可以通过 Ollama 进行对话了:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值