谷歌Gemma 4端侧模型迈出“不完美”第一步,多场景表现值得期待!

谷歌开源的LLM大模型 Gemma 简介 谷歌推出了 Gemma,一个开放大型语言模型 (LLM) 的尖端系列,标志着其致力于开源人工智能的重要一步。同时Gemma 与 Hugging Face 平台的无缝集成,可以让AIGC爱好者更好的去使用。Gemma 是基于 Gemini 技术推出的四款新型大型语言模型(LLM),提供了 2B 和 7B 两种不同规模的版本,每种都包含了预训练基础版本和经过指令优化的版本。gemma-7b:7B 参数的基础模型。:7B 参数的指令优化版本。gemma-2b:2B 参数的基础模型。 阅读详情

谷歌发布新一代开源模型Gemma 4

近期,谷歌发布新一代开源模型Gemma 4,包括E2B、E4B、26B、31B四个规格。其中,两个「小模型」E2B和E4B可直接在智能手机、树莓派等端侧设备部署和离线运行。一经推出,谷歌Gemma 4两款「小模型」就被不少人誉为迄今为止最好用的端侧模型。雷科技也先后发了两篇实测内容,一篇聚焦逻辑推理和多模态能力,一篇聚焦国产千元机上的体验表现。使用一段时间后,雷科技编辑小伙伴有了更多新感受和体会。

端侧模型优势尽显

近日,苹果宣布负责硬件工程的高级副总裁约翰·特努斯将接替蒂姆·库克担任公司首席执行官,引发国内外连篇累牍的「为何库克选他当接班人?」解读文章。把这个问题抛给Gemma 4 E4B,它在聊天框输入对应提问后接近「零延迟」开始信息输出,不过由于输出文本量不少,前后用了46秒才给出完整版答案。粗看之下,它已能较好解答相当多人的疑问,这就是端侧模型的核心优势:在最低的硬件成本(本地运行 + 0 Token消耗)条件下,给出一个「相对好」的答案,或一个「够用」的解决方案。

今年热播国产剧《太平年》相关讨论多,前段时间抛给谷歌端侧模型一个问题:吴越国如何能在重税政策下反而维持八十余年的太平繁荣?这是个相对专业和细化的问题,不少大学学历(非历史系)的人都未必了解。可以看出,端侧模型不仅是离线的大百科全书,还能根据用户不同问题乃至方向更有侧重地解答,包括各类领域的专业问题咨询。谷歌Gemma 4 E4B模型的知识截止点时间为2023年10月,在此之前发生的所有被记录和公开的事件、科学发现、历史信息和文化知识等,理论上都可以问它。雷科技认为,这是端侧模型作为工具应用在当下比较有用的一大使用场景,尤其适合对古今中外各类信息和知识感兴趣和有好奇心的用户群体。雷科技编辑初步体验这款App(Google AI Edge Gallery)后,就把其放在了手机主屏的Dock底栏,因为几乎天天都用得到。值得一提的是,谷歌表示虽然Gemma 4的核心训练数据有一个知识截止点,但其系统会不断进行更新和微调,以提高模型的理解和回答能力水平。

处理简单问题,端侧模型事故频发

本以为在基础知识领域,端侧AI模型已能完全胜任,结果现实并非如此。Gemma 4 E4B模型连唐诗名篇《将进酒》的全文和作者信息都能给错。原因是端侧模型整体参数量偏小,发展至今仍无法涵盖所有知识领域,强如谷歌Gemma 4也不例外,所以不少领域的细节信息会出现「失真」和「幻觉」现象。对于古诗文、古籍或资料信息,与其问端侧模型相应的原始文本信息,不如把原始文本信息直接丢给它,然后让其给出翻译或解读内容。

基于端侧模型参数量小带来的知识库信息量少问题,谷歌尝试在端侧模型上首次引入了「智能体」能力。不过关于信息检索类的,目前只能联网到在线百科网站(例如维基百科等),并没有提供可以下载的作为「增量」的各类离线知识库资源。

除了常规的知识信息问答,以Gemma 4 E2B/E4B等为代表的端侧AI模型也在发力工作协助和干活场景。工具应用层面,本以为检查文章基本语病这类工作可丢给端侧模型协助,但实际表现不让人放心,尤其是长段落文字的语病检查。究其原因,像检查语病这类高精度任务,由于需要大量编辑语料和强语言分布记忆,端侧模型常把检查语病变成了文本修改(润色),或者混淆了两者之间的区别,因为对它来说给出文本润色和修改建议反而更容易。值得注意的是,当把「进行基本语病检查和修正」的指令发给端侧模型后,它可能很难「理解到位」,但如果换成「进行基本语病检查(无语病不要改)」的指令,端侧模型的输出结果会明了不少。谷歌Gemma 4有system role、function calling等控制能力,但前提是要把提示模板、任务边界、输出格式等尽量写简单和清晰。另外,经过实测,虽然Gemma 4原生支持超过140种语言,但在检查长文语病等复杂精细度任务上,英文比中文支持得更好,这可能是因其预训练语料仍以英文为主。

端侧模型更适合专用场景?

雷科技此前体验过Gemma 4 E4B模型的原生多模态(图像、音视频)能力,它可以直接看图识物,也能听懂简单的音频信息、看懂简单的视频信息。在离线和网络较差的环境下,发一张相册中的图片,谷歌端侧模型就可以给出图像的基本信息。例如在飞行场景,如果对机上杂志或报纸上的某张图片有「简单」的解读信息需求,那么就可以直接发给端侧模型,让其尝试进行解答。至于较复杂的图像、音频信息,目前的端侧模型依然难以理解「更多」的信息量。

那么,端侧模型目前最擅长的技能是什么呢?毫无疑问是这几项:离线翻译、计算器、简单解题和测试训练等工具,以及相对专业领域(包括健康等领域)的基础信息科普、咨询等。此前,谷歌就基于Gemma 3构建了专用的翻译模型TranslateGemma。得益于专项训练流程,TranslateGemma 4B模型性能可与规模较大的Gemma 3 12B基准模型性能相媲美。可以期待,谷歌后续很快会推出基于Gemma 4的新一代专用翻译模型。无独有偶,腾讯混元也在近日开源手机端离线翻译模型Hy - MT1.5 - 1.8B - 1.25bit,把支持33种语言的翻译大模型压缩至440MB,用户免费下载之后,可在手机直接运行,无需联网,官方称其翻译效果「比肩」商用翻译模型。

Gemma 4:端侧模型迈出的「不完美」第一步

最近几个月,各家的云端大模型迭代飞快,参数量和智能化比拼也来到新阶段。相比之下,不是新概念的端侧模型也在努力前行,力求早日真正落地结果。雷科技体验一段时间后最大的感受是,谷歌Gemma 4的推出,标志着端侧模型落地移动终端设备迈出的那「不完美」的第一步。

目前能力水平的端侧模型,推荐的人群有两大类:一是天天都要查询古今中外大量信息的「百科向」用户,目前的端侧模型可以在一些领域更快、更直接、更定向地给出想要的一个「初始版本」答案;二是手机上装了大量离线app的「工具向」用户,目前的端侧模型可以在翻译、计算器、简单解题和测试训练,以及相对专业领域的基础信息科普咨询等工具应用领域有较好的表现。当然,想尝鲜或者见证端侧模型的一路成长,也可以下载体验。

对于iPhone用户,苹果即便在未来推出自家的端侧模型产品,大概率也就是谷歌Gemma端侧模型后续可以实现的程度。可以期待的「增量」或「加强」技能,主要是端侧模型对于手机各项操作指令的「完美联动」和「无缝接入」。需要指出的是,谷歌Gemma 4端侧模型的回答和响应速度,与手机的运行内存和算力水平有着莫大关系。iPhone用户,建议运存8GB起步,推荐12GB;安卓用户,建议运存12GB起步,推荐16GB。这样的配置,可以体验目前端侧模型的最佳运行表现。

至于如何在手机上下载谷歌Gemma 4端侧模型,步骤极其简单,所有国内用户均可体验:先在国区App Store或安卓应用商店下载配套的App,即Google AI Edge Gallery;其后可在App中对谷歌相关端侧模型直接进行本地部署(下载)和使用体验。端侧模型成了谷歌面向中国内地用户完全开放下载、并可直接使用的大模型产品。而这似乎也预示着谷歌端侧模型(注:经过审查和备案后),未来有可能全面部署乃至预装到更多国产终端硬件设备,包括小型物联网终端设备等。在这方面,谷歌已经在发力。Gemma 4模型支持业界通行的Apache 2.0许可,这意味着开发者可以更加自由地使用、修改和分发该模型,消除了以往商业化应用中的各项顾虑。通过与谷歌Pixel硬件团队以及高通、联发科等移动终端芯片平台企业合作,谷歌试图让Gemma 4端侧模型可以在更多安卓移动设备(尤其非高运存设备)上实现真正的「近乎零延迟」使用体验。可以想象,伴随未来旗舰手机(包括iPhone)运行内存全面迈入16GB阶段,「小模型」更多、更强、更高效的技能表现(尤其是与智能体的更成熟联动),以及更大的本地知识库信息储备量,端侧模型也将给用户带来全方位的加强版体验。这一天,已经为时不远了。

Gemma 4开源大模型:端侧可用、参数高效、全模态原生 大模型轻量化与端侧部署正成为AI工程落地的核心命题。其本质是通过参数高效设计(如MoE稀疏激活、PLE逐层嵌入)和系统级优化(共享KV缓存、交替注意力),在有限算力下维持专业级推理质量。技术价值在于打破‘参数量=能力’的旧范式,实现消费级硬件承载工业级任务——例如26B MoE在RTX 4090上超越Llama 3 70B,E4B在树莓派5实现实时工业图像结构化分析。典型场景覆盖边缘智能终端、SaaS Agent服务、教育硬件及离线质检设备。Gemma 4正是这一演进的关键实践样本,将端侧可用、全模态原生从 阅读详情

相关推荐

Gemma 4端侧AI:手机如何成为原生AI主机

端侧AI是指将大模型推理能力直接部署在终端设备(如智能手机)上,摆脱对云端服务器的依赖。其核心原理在于利用SoC内置NPU进行低延迟、高能效的本地计算,并通过系统级集成(如Android AI Service Manager)实现服务化调度。技术价值体现在隐私增强、实时响应与离线可用性三大维度,显著优于传统云API调用模式。典型应用场景包括离线语音转写、相册语义搜索、手机端代码补全等,尤其适合对延迟敏感、数据敏感或网络不可靠的环境。Gemma 4作为首个深度适配骁龙平台、支持原生NPU调度与系统级服务驻留的

weixin_32377497的博客 317

同等参数中最强,在苹果15Pro上也能运行!谷歌又“卷”出了端侧小模型 Gemma 2 2B...

在 AI 技术的快速发展下,语言模型的规模和能力也在不断壮大。从最初的几百万参数发展到如今动辄数十亿甚至数百亿参数的模型,每一次技术革新都伴随着巨大的计算资源需求——然而,高昂的成本和复杂的部署流程也因此成为了限制模型广泛应用的主要障碍。在这样的背景下,今年 2 月谷歌发布了首批 Gemma 系列模型。不同于其旗舰产品 Gemini 模型...

优快云资讯 1万+

Gemma 3 架构深度解析:谷歌轻量级大模型的革新之路

谷歌Gemma 3在7B参数规模下实现了突破性性能,超越传统70B级大模型。其核心创新包括:1)稀疏MoE架构,集成4个轻量级专家模块与动态路由机制;2)注意力优化,采用FlashAttention-3和增强旋转位置编码;3)三阶段训练流程,结合多教师知识蒸馏技术(PaLM 2/Gemini等)。推理方面支持动态量化(INT4/INT8/FP16)和连续批处理,速度提升3-5倍。知识处理能力突出,支持128K长上下文层次压缩和领域适配训练,专业任务准确率提升35%。该架构为轻量级大模型树立了新标杆。

fudaihb的博客 1万+

谷歌Gemma 4端侧模型亮相:有惊艳亮点也有短板,未来体验值得期待!

当然,想尝鲜或见证端侧模型成长的用户也可下载体验。对于iPhone用户,未来苹果推出自家端侧模型,大概率也就是谷歌Gemma端侧模型后续可实现的程度,增量或加强技能主要是端侧模型与手机操作指令的"完美联动"和"无缝接入"。以苹果宣布高级副总裁约翰·特努斯接替蒂姆·库克担任公司首席执行官一事为例,当把"为何库克选他当接班人"的问题抛给Gemma 4 E4B时,在iPhone 17 Pro Max上,该端侧模型接近"零延迟"开始输出信息,虽输出文本量较多,用了46秒给出完整版答案,但已能较好解答很多人的疑问。

IT界那些事儿 135

Gemma 4端侧AI实战指南:断网可用、隐私闭环的本地大模型

端侧大模型是指无需联网即可在手机等终端设备上直接运行的轻量化人工智能模型,其核心原理在于模型压缩、混合稀疏注意力与逐通道INT4量化等关键技术突破,显著降低内存占用与功耗。这类模型的技术价值在于实现真正的隐私闭环与离线可用性,规避云端传输风险,满足医疗、法律、政务等高敏场景需求。典型应用场景包括无网环境下的文档翻译、合同审阅、医疗报告解读、多模态识图及本地化知识问答。Gemma 4作为当前落地最成熟的端侧AI代表,以断网可用和开箱即用为设计原点,标志着大模型从‘云依赖服务’向‘设备原生能力’的关键演进。

778

谷歌开源Gemma 4系列:31B参数打赢20倍巨头,手机也能跑满血AI!

谷歌发布重磅开源模型Gemma4,31亿参数击败20倍规模对手,支持手机离线运行。该模型提供四个版本,覆盖手机到服务器应用场景,采用Apache2.0许可商用无忧。Gemma4基于Gemini3技术构建,具备多模态处理能力,参数效率极高,生态支持迅速。相比前代,其Agent能力提升显著,但存在上下文窗口有限等不足。这一发布将加速端侧AI普及,降低企业私有化部署门槛,对Meta、阿里等竞争对手形成压力,标志着开源AI进入"好用"新阶段。

华盛AI的博客 1036

2GB RAM 跑大模型不是梦:谷歌 Gemma 3n 开源,边缘 AI 革命来了

1.1 多模态:图、音、视频、文本,四路输入,一路文本输出,原生搞定。1.2 身材迷你:5B/8B 的“脑力”只按 2B/4B 的“饭量”开伙——E2B 占 2 GB、E4B 占 3 GB 内存就能跑。1.3 技术底牌:MatFormer 架构 + 每层嵌入 (PLE) + 全新 MobileNet-v5 视觉/音频编码器,专为端侧量身打造。1.4 实力爆表:140 种文字语言 + 35 种语音/图文多语;数学、代码、推理全线升级;

Black_Rock_br的博客 1305

Gemma 4手机本地推理实战:端侧大模型落地Android NNAPI

端侧大模型是指在终端设备(如手机)上直接运行、无需云端依赖的轻量化AI模型,其核心原理是通过硬件感知训练、混合精度量化与算子融合等技术,在有限算力与功耗约束下实现低延迟推理。技术价值在于突破网络依赖与隐私瓶颈,赋予设备实时感知、自主决策能力;典型应用场景包括离线语音转写、相机实时分析、会议摘要生成及系统级自动化任务。本文聚焦Gemma 4与AI Edge Gallery组合,深入解析其在Android平台基于NNAPI的量化部署机制、NPU/GPU/CPU协同调度策略,以及面向真实工作流的手机本地推理工程实

weixin_33735077的博客 348

谷歌最新发布的Gemma 4模型本地手机也可部署

谷歌发布Gemma 4开源大模型家族,包含E2B(2B)、E4B(4B)、26B MoE和31B Dense四个版本,性能显著提升。其中31B Dense模型在开源AI榜单排名第三,26B MoE采用混合专家架构实现高效推理。新模型原生支持图文音多模态输入,最大支持256K上下文窗口,采用Apache 2.0协议允许自由商用。特别优化移动端部署,最小版本仅需3.2GB内存,可在手机等设备离线运行。实测显示,在RTX 4090等设备上能实现接近GPT-4的本地推理能力。该模型已通过主流平台开放获取,被视为谷歌

小马过河R的博客 1089

Gemma 4开源大模型:端侧AI落地的工程化临界点

大语言模型(LLM)正从云端服务向终端设备深度下沉,其核心挑战在于如何在算力、内存与功耗受限的端侧硬件上实现高质量、低延迟、可部署的推理能力。Gemma 4作为谷歌发布的全尺寸开源大模型系列,通过逐层嵌入(PLE)、KV状态复用、双RoPE注意力调度等关键技术,在参数效率、显存优化与多模态协同方面取得实质性突破。它不再停留于‘能跑’,而是聚焦‘稳跑、快跑、省跑’的工程闭环,覆盖从手机NPU、Jetson边缘设备到单卡H100数据中心的全栈场景。尤其在端侧AI、本地化Agent构建及离线多模态理解等高频搜索需

weixin_30599769的博客 621

Gemma 4端侧大模型落地实测:多模态、开源与AI模型测评新标准

端侧大模型正从技术概念走向日常应用,其核心在于能否在手机等个人设备上实现真正离线、低功耗、高可用的多模态推理。这背后涉及模型架构重构(如动态稀疏专家路由)、硬件级适配(NPU调度与内存带宽优化)及开源可信性(本地权重全可控)。AI模型测评也已超越传统MMLU分数,转向真实场景下的温度控制、方言识别率、图像理解准确率等工程化指标。Gemma 4 E2B/E4B系列正是这一演进的关键代表——它不追求参数堆砌,而是以场景驱动设计,在iPhone与安卓旗舰上实现稳定16–24 tok/s推理,同时支持Ask Ima

weixin_33938733的博客 398

单GPU跑赢巨无霸!谷歌Gemma 3开启端侧AI新时代:27B参数碾压o3-mini,手机秒变多模态神器...

2025年3月12日,谷歌在巴黎开发者日上正式发布开源模型Gemma 3,再次掀起AI领域的技术浪潮。这款被称为“全球最佳单加速器模型”的Gemma 3,以仅需单块H100 GPU即可驱动27B参数的强悍性能,刷新了业界对小模型能力的认知。它不仅击败了Meta的Llama-405B、OpenAI的o3-mini等大模型,还在多模态、多语言支持、端侧部署等方面实现了质的飞跃。Gemma 3的诞生,标...

LinkTime_Cloud的博客 1813

Gemma 4端侧部署实战:31B模型如何实现本地低功耗高响应

端侧AI是指将大语言模型直接部署在终端设备(如笔记本、手机、开发板)上运行的技术范式,其核心在于平衡计算效率、内存占用与能效比。原理上依赖滑动窗口注意力、动态KV缓存和MoE稀疏激活等架构优化,结合AWQ感知量化与编译级工具链协同,显著降低INT4推理延迟与显存压力。技术价值体现在单位能耗吞吐量提升、首token延迟可控、多并发资源复用增强,广泛适用于离线智能助手、隐私敏感场景及边缘嵌入式应用。本文聚焦Gemma 4开源模型的本地部署全流程,深入解析其端侧友好设计与实操避坑要点。

weixin_30352191的博客 399

谷歌Gemma 4模型深度解析:开源王者来袭,单卡可跑,性能碾压20倍参数量对手

谷歌DeepMind发布新一代开源大模型Gemma 4系列,采用Apache 2.0协议彻底放开商业限制。该系列包含31B、26B MoE、E4B和E2B四款型号,覆盖从手机到数据中心的各类硬件设备。性能表现上,31B模型仅310亿参数却超越20倍规模的竞品,数学推理准确率达89.2%,代码能力接近专业选手水平。技术亮点包括混合注意力机制、MoE架构优化和端侧深度适配,支持256K长上下文处理。部署门槛极低,E2B模型量化后仅1.5GB内存占用,可在树莓派等设备离线运行。

weixin_69359007的博客 1869

谷歌全新多模态大模型Gemma 3, 使用Ollama本地运行Gemma-3-4B并解释图片

Gemma 3 新模型上线,本地实操教程新鲜出炉!

ai_tech_talk的博客 4464

速评谷歌开源大模型Gemma 7B

本文主要对谷歌开源大模型Gemma 7B进行了速评,希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 速评 2.1 测评方法 2.2 测评场景一: 自我认知 2.3 测评场景二: 事实提问 2.4 测评场景三: 指令跟随 2.5 评测场景四:互联网信息搜索和理解

herosunly的博客 1万+

开源大模型王座易主!谷歌Gemma杀入场,CPU和端侧可运行,可商用

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID|计算机视觉研究院学习群|扫码在主页获取加入方式Gemma 官方页面:https://ai.google.dev/gemma/计算机视觉研究院专栏Column of Computer Vision Institute刚刚,谷歌杀入开源大模型。开源领域大模型,迎来了重磅新玩家。谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini...

gzq0723的博客 614

谷歌 Gemma 3n 正式发布:端侧AI模型,小模型也有大实力

Gemma 3n震撼登场,移动AI迎来新的发展?

Code_流苏:在代码中寻诗意,在实践中觅真知 1688
上一篇: 90后哈工大团队创业10年,乐聚机器人携近15亿融资冲刺IPO!
下一篇: 豆包收费引发舆论波澜,AI付费时代,中国用户能否适应消费升级?
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值