不妨一试!这六种在智能手机上运行的开源LLM

llama.cpp 部署 llama-2-7b 测试 Llama 2 执行命令 git clone https://github.com/ggerganov/llama.cpp.git。拷贝模型文件 将7B模型转换为ggml FP16格式。上面的按钮点击后,应该邮箱就收到链接了,几乎是很快的。第二步,看看下面帅气的男人,我们要再下载一个仓库啦。所以我只下载了7B,它占用磁盘13GB的空间。把下面的链接复制后备用,注意24小时后会失效。7b就是有70亿参数,文件夹里面有3个文件。量化为 4 位之后模型就变小成4G了。其中最大的是模型文件有13G。安装python依赖。 阅读详情
大语言模型(LLM)需要大量的计算资源,这些资源通常局限于功能强大的服务器。然而,新一代的紧凑模型让您可以直接在智能手机上运行这些强大的语言模型。有意思的是,您不需要互联网就可以在智能手机上使用LLM。

您可以在不使用互联网的情况下,利用智能手机上LLM 的强大功能,最大限度地加强隐私和控制。大语言模型(LLM)需要大量的计算资源,这些资源通常局限于功能强大的服务器。然而,新一代的紧凑模型让您可以直接在智能手机上运行这些强大的语言模型。有意思的是,您不需要互联网就可以在智能手机上使用LLM。

下面这六种开源LLM经训练和优化后,可以在智能手机上使用。

  • Gemma 2B:谷歌针对移动语言任务的紧凑型高性能LLM。
  • Phi-2:微软的小型模型比规模大25倍的大型模型表现得还好。
  • Falcon-RW- 1B:面向资源受限的移动设备的高效1B参数模型。
  • StableLM-3B:Stability AI兼顾性能和效率的模型,用于处理手机上的各种语言任务。
  • TinyLlama:紧凑版Llama模型,在手机上提供出色的结果。
  • LLaMA-2-7B:Meta功能强大的7B模型,用于处理高端智能手机上的高级任务。

1. Gemma 2B

谷歌的Gemma 2B是一种紧凑型语言模型,尽管小巧,却提供了出色的性能。它利用多查询注意力机制,有助于减少推理期间对内存带宽的需求。

这尤其有利于内存带宽通常有限的设备端场景。仅用20亿个参数,Gemma 2B在语言理解、推理和安全等方面的学术基准测试上取得了出色的成绩。

在18项基于文本的任务中,它在11项上的表现胜过大小相似的开放模型。

2. Phi-2

Phi-2有27亿个参数,在某些基准测试中,其性能比大25倍的模型更胜一筹。它擅长处理涉及常识推理、语言理解和逻辑推理的任务。

Phi-2可以量化到更低的位宽,比如4位或3位精度,从而将模型大小显著缩小到1.17GB-1.48 GB,以便在内存和计算资源有限的移动设备上高效运行。

Phi-2的主要优点之一是它能够执行常识推理。该模型已使用庞大的互联网数据语料库进行了训练,因而能够理解并推理日常概念和关系。

3. Falcon-RW-1B

Falcon-RW-1B是Falcon语言模型系列的一部分,以高效和性能出名。RW代表“精炼的Web”,表示筛选的训练数据集注重质量而非数量。

Falcon-RW-1B的架构改编自GPT-3,但结合了ALiBi(具有线性偏差的注意力)和FlashAttention等技术来提高计算效率。这些优化机制使得Falcon-RW-1B非常适合在智能手机等资源受限的设备上进行设备端推理。

Falcon-RW-1B-Chat模型旨在为Falcon-RW-1B-Instruct-OpenOrca模型增加会话功能,以提高用户参与度、扩大使用范围,并为智能手机等资源受限的环境提供可访问性。

4. StableLM-3B

StableLM-3B由Stability AI开发,有30亿个参数的模型,兼顾了性能和效率。StableLM-3B最大的优点在于,尽管使用较少的token进行训练,但在一些基准测试中,其表现胜过使用70亿个参数进行训练的模型。

StableLM-3B可以量化到更低的位宽,如4位精度,将模型大大显著缩小到3.6 GB左右,使其可以在智能手机上高效运行。有用户提到,StableLM-3B的性能超过了Stable自己的7B StableLM-Base-Alpha-v2。

5. TinyLlama

TinyLlama利用FlashAttention和RoPE位置嵌入等优化机制来提高计算效率,同时保持强大的性能。它与Llama架构兼容,可以整合到基于Llama的现有移动应用程序中,基本上不需要改动。

TinyLlama可以量化到更低的位宽,比如4位或5位精度,将模型大小显著缩小到550MB-637 MB左右。一位用户在分享使用TinyLlama方面的经验时提到,在华硕ROG之类的中端手机上,TinyLlama每秒可以生成6-7个token。

6. LLaMA-2-7B

LLaMA-2-7B模型量化到4位宽和16位激活,使其适用于智能手机上的设备端部署。这种量化将模型大小缩小到3.6GB,从而可以在内存充足的移动设备上加载和运行。

移动端的LLaMA-2-7B模型需要设备至少有6GB内存。在推理过程中,三星Galaxy S23 Ultra上的峰值内存使用量在316MB到4785MB。这表明,虽然该模型可以在6GB以上内存的设备上运行,但拥有更大的内存可以获得更好的性能,并降低内存不足错误的风险。

虽然LLaMA-2-7B模型需要设备有足够的内存,其速度可能无法与基于云的模型相匹配,但它为希望创建直接在智能手机上运行的基于语言的智能功能的开发人员提供了一个诱人的选择。

三万字长文超详细解读LLama2! 自从Transformer架构问世以来,大型语言模型(Large Language Models, LLMs)以及AIGC技术的发展速度惊人,它们不仅在技术层面取得了重大突破,还在商业应用、社会影响等多个层面展现出巨大潜力。 随着ChatGPT的推出,这一技术日益走进大众视野,这也预示着一个由生成式AI塑造的未来正在加速到来。 与此同时,Meta AI Meta AI在2023年推出了LLama(Large Language Model Meta AI)系列大语言模型,这一模型初期是以较为封闭的形式面向特定 阅读详情

相关推荐

ESP32-P4 GPIO双域架构:HP/LP分离、寄存器级控制与低功耗工程实践

GPIO(通用输入输出)是嵌入式系统中最基础且高频使用的硬件接口,其性能、灵活性与功耗特性直接影响产品实时性与续航能力。现代高性能MCU如ESP32-P4通过HP/LP双电源域分离、可编程IO复用(IO MUX)、信号交换矩阵及硬件自动化机制(如ETM事件、Sigma-Delta调制),将传统GPIO升级为兼具模拟能力、亚微秒响应与微安级待机的智能外设子系统。其核心价值在于实现引脚功能动态重构、中断零延迟处理、Deep-sleep期间自主唤醒与多核安全操作。典型应用场景涵盖工业PLC信号采集、电池供电传感器

weixin_35949153的博客 102

AI智能体平台选型实战:从Coze、Dify到FastGPT的深度场景适配

本文深度解析了Coze、Dify和FastGPT三大AI智能体平台的核心定位与功能适配,通过实际案例对比了它们在模型支持、知识库精度、私有化部署及运维监控等方面的表现。文章还提供了组合使用策略与避坑指南,帮助企业根据业务需求选择最适合的AI智能体平台,提升智能化应用效率。

weixin_26846533的博客 364

手把手教你用TL431设计反激电源补偿器(附波特图调试技巧)

本文详细介绍了如何使用TL431设计反激电源补偿器,并提供了波特图调试技巧。通过实战经验分享,帮助工程师快速掌握补偿网络设计、分压电阻计算和稳定性判据,避免常见设计误区,提升电源稳定性与效率。

weixin_29201859的博客 381

中文大语言模型 Llama-2 7B(或13B) 本地化部署 (国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门)

nvidia-smi注意 : 使用 nvidia-smi 查看CUDA 版本必须是 11.8。

asdasd的专栏 3万+

AI搜索优化(GEO)实战指南:抢占智能对话流量入口

AI SEO,是针对生成式AI平台(如DeepSeek、豆包、Kimi等)的优化策略,旨在通过适配AI算法对内容的理解和引用逻辑,提升品牌在AI生成答案中的可见性与权威性,从而在对话式搜索场景中抢占流量入口。:强化内容经验性(Experience)、专业性(Expertise)、权威性(Authoritativeness)、可信度(Trustworthiness)内容需避免夸大描述,提供可验证的细节(如数据、用户评价)。

Baixue5209的博客 6795

【3D计算机视觉】从PointNet到PointNet++理论及pytorch代码

从PointNet到PointNet++理论及代码详解1. 点云是什么1.1 三维数据的表现形式1.2 为什么使用点云1.3 点云上以往的相关工作2. PointNet2.1 基于点云的置换不变性2.1.1 由对称函数到PointNet(vanilla)2.1.2 理论证明2.2 基于点云的旋转不变性2.3 网络总体结构2.4 实验结果和网络的鲁棒性2.5 代码解析3. PointNet++3.1...

小执着的博客 8万+

LLMs之LLaMA-2:LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略

​ LLMs之LLaMA-2:LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略 目录 相关文章 LLaMA2的简介 LLaMA2的简介 LLaMA2的安装 LLaMA2的使用方法 相关文章 理论论文相关 LLMs:《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1万+

单相PWM整流器四象限运行原理

简述单相PWM整流器四象限运行原理。

m0_75208156的博客 8309

LLM - Chinese-Llama-2-7b 初体验

Chinese-Llama-2-7b 初体验。

BITDDD小栈 9129

cpp中auto, auto &和const auto &的区别

笔者初学cpp,如有纰漏,请见谅并指正。 用在哪 auto用于推断类型,具体可用于声明变量时根据初始化表达式自动推断该变量的类型,也就是可用在for循环。 也可以用于声明函数返回值的占位符。 怎么用 这里主要讲for循环中三者的区别 直接说结论 auto auto用于copy一份集合中的数据,对于这种情况,在循环体中不论怎么修改copy的数据,是不会影响到原有集合中的数据的。 举个简单的例子 int arr[5] = {0, 1, 2, 3, 4}; cout << "使用auto" <&

NinoSun的博客 3177

手把手教你用Apple Developer App完成苹果开发者账号注册(含证件验证失败解决方案)

本文详细指导如何通过Apple Developer App完成苹果开发者账号注册,特别针对证件验证失败问题提供解决方案。从准备工作到注册流程,再到验证失败的处理方法,帮助开发者顺利完成注册,避免常见错误。

moss5的博客 1164

开源项目介绍:Native-LLM-for-Android

Native-LLM-for-Android项目主要提供2个参考点,1、将LLM模型导出为onnx模型,2、在安卓端实现LLL模型的运行,本博文主要关注将llm导出为onnx推理(对现有的llm模型进行局部修改并导出),并以miniCPM模型为例进行测试。同时,Native-LLM-for-Android项目还有一些列模型量化代码可以学习。

a486259的博客 2304

Win11 系统下 VisualStudio2022 配置点云库 PCL1.11.1

安装完成之后打开文件夹E:\PCL 1.11.1\3rdParty\OpenNI2双击 并选择路径 (E:\PCL 1.11.1\3rdParty\OpenNI2) 安装即可全部安装完成之后,将pcl-1.11.1-pdb-msvc2019-win64.zip解压后的 .pdb文件拷贝到(E:\PCL 1.11.1\bin)中设置环境变量:到此,环境变量配置完成。

qq_53545309的博客 1132

大模型论文 | Meta开源ARE智能环境与Gaia2基准测试,构建大规模agent测试环境

论文介绍了一个模块化模拟器(ARE)*和一个*移动端风格基准(Gaia2),强调异步事件、写入操作验证以及在嘈杂、动态环境中的多agent协调。Gaia2:基准测试 --在类似智能手机的世界中有1,120个场景,包含12个应用程序(聊天、日历、购物、邮件等);六种主要挑战类型:搜索、执行、适应性、时间、模糊性和agent间协作(示例见第12-14页,GUI截图中显示了事件图);测试显示:无单一模型主导,强推理模型在时间关键任务上表现不佳,多agent协作可帮助较弱模型。

老皮的博客 397

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

LLM - Transformer && LLaMA2 结构分析与 LoRA 详解

Transformer、LLaMA-2 以及 LoRA的一些基础知识。

BITDDD小栈 3万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

在矩池云使用Llama2-7B的具体方法

今天给大家分享如何在矩池云服务器使用 Llama2-7b模型。矩池云已经配置好了 Llama 2 Web UI 环境,显存需要大于 8G,可以选择 A4000、P100、3090 以及更高配置的等显卡。

机器学习是魔鬼的博客 1669

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

LLaMA-2 7B 简介

LLaMA-2 7B 适合轻量级推理任务,在开源生态中具备很强的竞争力,尤其适用于。(70 亿参数)版本。LLaMA-2 作为 LLaMA 的升级版本,专为。LLaMA-2 7B 是 Meta(前 Facebook)推出的。设计,支持开源使用,并可用于研究和商业用途。

weixin_67075116的博客 1462

一文就懂大语言模型Llama2 7B+中文alpace模型本地部署

大语言模型Llama2 7B+中文alpace模型本地部署

勿忘初心,方得始终 3555

Native-LLM-for-Android:在 Android 设备上原生运行大型语言模型

Native-LLM-for-Android:在 Android 设备上原生运行大型语言模型 在移动设备上实现人工智能模型的实时运行,一直是技术界的一大挑战。今天,我们介绍的开源项目 Native-LLM-for-Android,正是为此而生。该项目能够在 Android 设备上原生运行大型语言模型(LLM),为移动端的 AI 应用提供了强大的支持。 项目介绍 Native-LLM-for-And...

gitblog_00170的博客 932

LLaMA 2部署教程

本文详细介绍了LLaMA 2模型的本地化部署与服务化实现路径,涵盖环境配置、模型加载、量化优化、API封装及多场景应用案例,重点探讨了GPU加速、4-bit量化、FastAPI服务构建与Kubernetes弹性部署等关键技术。

weixin_42128315的博客 962

纯干技术分享:大模型LLama2-7B在高能效可重构视觉芯片部署

关于高能效可重构视觉芯片TX536清微智能TX536是一款行业专用的智能高SOC,集成功能强大的可重构计算架构(CGRA)ISP、业界最新的H.265视频压缩编解码器,3D计算加速单元。基于高性能人工智能加速引擎RNE以及通用计算加速引擎RCE,TX536在低码率、高画质、智能处理和分析等方面引领行业。芯片集成POR、RTC、Audio Codec以及待机唤醒电路,极大的降低了客户的产品成本。AI...

weixin_44298602的博客 886

全量微调Llama2-7b遇到的错误(stanford_alpaca)

模型:Llama-2-7b-chat-hf。openai的版本不对,更换版本。

鲨鱼儿的博客 3912

训练小规模 LLM 的技术方案:以 Llama-2-7B 为例

训练小规模 LLM 的技术方案:以 Llama-2-7B 为例。通过本文的介绍,你会掌握训练 Llama-2-7B 的关键技术和最佳实践。根据你的具体需求和资源条件,选择合适的硬件、框架和训练策略,你可以高效地训练和微调 Llama-2-7B 模型,为各种 NLP 任务提供支持。记住,训练大模型是一个不断优化和调整的过程。保持实验记录,监控关键指标,从失败中学习,是提高训练技能和模型性能的关键。祝你训练成功!

weixin_41413777的博客 1576

本地部署Chinese-llama-2-7b模型(Windows)

所以我们需要去下载一个大模型添加到里面,我用的是Chinese-llama-2-7b的模型,还有一个1.3b的模型,稍显笨拙一点,所以我的建议是。部署大模型有着多种方式,但是我用的是一键安装的方式,在网上可以找到很多一键安装包,方便简洁。1.在下载一键安装包的时候,建议新建文件夹,并且为全英文的路径,不然容易报错。3.7b的模型可能语料库还是不够多,在聊天的时候可能有些问题,自己多试试。模型下载好以后,需要。

m0_62852701的博客 1594

Llama 2最完整模型版本:7B/13B/70B参数选择指南

在人工智能(AI)大语言模型(LLM)快速发展的今天,选择合适的模型参数规模成为了开发者和研究者面临的关键挑战。Llama 2作为Meta推出的开源大语言模型,提供了7B、13B和70B三种参数规模,每种规模都有其独特的优势和适用场景。你是否在纠结于应该选择哪种参数规模的模型来满足你的需求?是追求极致性能还是更注重资源效率?本文将为你提供一份全面的Llama 2模型参数选择指南,帮助你根据实际需求...

gitblog_00368的博客 1381
上一篇: 马斯克打算为特斯拉量身定制一个ChatGPT
下一篇: 黑客入侵OpenAI,细节一年后才公开,三类数据资源让AI公司成为活靶子
老贾的AI世界
博客等级 码龄7年 3335粉丝 254原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老贾的AI世界

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值