手机安装系统部署LLM的方法

原创 已于 2024-07-16 17:48:23 修改 · 2.1k 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama

于 2024-07-16 17:30:41 首次发布

手机安装系统部署LLM的方法

前置条件:

首先模型选择GGUF格式, 选择Q4_K_M或Q5_K_M量化
手机内存8~12G或以上均可尝试, 参数一般选择7~13B

以下是模型推荐及其大小, 需根据手机内存实际情况选择:
Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF 中文模型, Q4量化5.33G, Q5量化6.26G

Qwen2-7B-Multilingual-RP-GGUF 中文模型, Q4量化4.68 G, Q5量化5.44 G

Loyal-Macaroni-Maid-7B-GGUF 英文模型, Q4量化4.37 G, Q5量化5.13 G

本地部署

下载Termux

需要一个 linux 环境，Termux 是 Linux 环境的模拟器，因此它可以工作。
转到 https://f-droid.org/en/packages/com.termux/ 然后向下滚动页面，然后单击下载apk，然后安装它。

请添加图片描述

打开Termux, 下载依赖

首先需要安装Koboldcpp, 需要安装依赖, 在终端输入如下指令,

pkg install wget git python

随后输入y选择安装

请添加图片描述

输入安装openssl依赖, 此步非必要

apt install openssl

随后输入如下以获取Koboldcpp项目

git clone https://github.com/LostRuins/koboldcpp.git

请添加图片描述

输入

cd koboldcpp

请添加图片描述

随后输入

make

等待编译, 需要几分钟

请添加图片描述

下载模型并启动

首先需要在huggingface里获取下载链接, 然后通过wget来下载, 这里直接把模型下载到当前Koboldcpp目录, 更方便.
先去huggingface获取下载链接, 这里以Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF为例来下载Q5_K_M版本, 项目链接已经在上面的模型推荐中列出了, 这里只需要进到里面获取下载链接即可.

请添加图片描述

选择对应的Q5_K_M, 进入页面后长按download然后复制链接

请添加图片描述

随后回到Termux终端, 在koboldcpp目录下输入wget后, 要隔开空格, 随后把刚才复制的链接地址粘贴到后面

wget https://huggingface.co/mradermacher/Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF/resolve/main/Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

请添加图片描述

模型一般很大, 慢慢等待下载完成即可, 随后终端输入如下, 需要在--model跟模型名, 这个根据你下载的模型名有关

python koboldcpp.py --model Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

请添加图片描述

等待, 出现如下信息就成功了

请添加图片描述

进到浏览器, 输入http://localhost:5001链接后进入, 然后即可尝试了, 效果如下:

请添加图片描述

后续启动的话, 每次启动Termux后终端输入

cd koboldcpp

随后输入

python koboldcpp.py --model Hermes-2.5-Yi-1.5-9B-Chat.i1-Q5_K_M.gguf

然后浏览器输入http://localhost:5001即可
可接入酒馆, 目前测下来手机运行稳定性较差, 经常断掉, 如果不是特殊情况还是用电脑比较稳定.

HHD-Qixuan
关注
LLM在智能对话系统中的应用探索
AI天才研究院
11-07 1018
LLMS在智能对话系统中的应用探索 前言 随着人工智能技术的飞速发展，智能对话系统已成为人机交互的重要途径。近年来，基于大型语言模型（LLM）的智能对话系统在自然语言理解、生成和交互等方面取得了显著进展。本文将深入探讨LLM在智能对话系统中的应用，首先介绍LLM的基本概念和核心技术，然后详细分析
Tiny LLM on Edge模型量化、转换与本地部署全流程解析
一键难忘的博客
07-24 545
近年来，大型语言模型（LLM）不断推动人工智能能力向前发展，但其庞大的参数规模和计算资源要求限制了其在边缘设备（如手机、嵌入式系统、IoT 设备）上的部署。随着模型压缩、量化和高效推理引擎的发展，小型 LLM 的 on-device 部署逐渐成为可能。
酷！阿里开源MnnLlmApp，支持各类LLM在手机上离线运行！
m0_59163425的博客
01-30 6002
酷，阿里开源了基于其MNN-LLM框架的Android手机应用：MnnLlmApp，支持各类LLM在手机上离线运行支持多种多模态任务，文本生成文本、图像生成文本、音频转文本以及文本生成图像在安卓平台上，MNN-LLM的CPU性能优秀，预填充速度较llama.cpp提高了8.6倍，较fastllm提升了20.5倍，解码速度分别快了2.3倍、8.9倍。
GGML 或GGUF的14种不同量化模式说明
热门推荐
znsoft的专栏
12-12 3万+
对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。
koboldcpp完全指南：从安装到精通的AI模型部署新范式
最新发布
gitblog_01039的博客
10-26 719
你是否还在为本地部署AI模型的复杂流程而困扰？是否想要一个无需繁琐配置就能运行多种GGML和GGUF模型的解决方案？本文将带你全面掌握koboldcpp——这款源自KoboldAI的轻量级AI部署工具，从基础安装到高级优化，让你轻松实现本地化AI文本生成、图像创建和语音处理。 ## 什么是koboldcpp koboldcpp是一款基于llama.cpp开发的一站式AI部署工具，它将强大的功能...
GGUF模型的不同量化模式说明
weixin_44455388的博客
03-06 1万+
在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。q6_k：将Q8_K用于所有张量。q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
如何在安卓手机上本地安装和运行 LLMs
TOPSTIP的博客
05-27 769
本指南教你如何在安卓手机上本地安装和运行 LLMs
绝区叁--如何在移动设备上本地运行LLM
RA AI衍生者训练营的博客
07-06 1445
更困难的是，由于我们的移动设备几乎一直伴随着我们，隐私也是一个更大的问题。这些模型早已集成到我们的手机中，但到目前为止，它们理解和处理请求的能力还非常有限。然而，这些新型LLM人工智能模型可以理解和生成类似人类的文本，使它们成为增强语音助手、聊天机器人和其他自然语言处理任务等应用程序的理想选择。就此而言，让我们开始吧。在演示中，我们使用了搭载骁龙 芯片的手机。在本文中，我们将探讨如何在 Android 设备上运行小型轻量级模型，例如 Gemma-2B、Phi-2 和 StableLM-3B。
fire_基于MNN-llm的安卓手机部署大语言模型：Qwen1.5-0.5B-Chat_Qwen1.
09-02
本文档详细介绍了一套系统，该系统基于MNN（Mobile Neural Network）-llm技术，实现了一个名为Qwen1.5-0.5B-Chat_Qwen1.5-0.5b-chat-android的大语言模型在安卓手机上的部署方案。 首先，这套系统的名称“Qwen1.5-...
ubuntu部署llm
01-15
为了在Ubuntu 24.04上成功部署本地的大规模语言模型至Android手机端，需先确保环境配置正确。这涉及到安装必要的Python包和其他依赖项。 对于MLC-LLM Python Package的安装，在终端输入如下命令来获取最新版本： `...
安卓手机部署酒馆 SillyTavern 全攻略（Termux 本地安装教程）
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
05-14 8422
本文详细介绍了如何在安卓手机上通过 Termux 环境本地部署 SillyTavern，一个功能丰富的角色扮演对话 AI。步骤包括安装 Termux、Git，克隆 SillyTavern 仓库，安装 Node.js 和依赖，启动 SillyTavern，以及可选的高阶玩法——安装 TAI-Extras 扩展模块。文章还提供了常见问题的解决方案和优化技巧，如更新 SillyTavern、处理报错、文件访问、添加快捷命令和禁用安卓后台进程杀死。通过本教程，用户可以在安卓手机上体验本地部署的 AI 对话，享受更高
Android APP 集成本地大模型 LLM
zxm317122667的专栏
12-24 1663
这篇文章介绍如何在Android项目中集成大模型LLM，并展示大模型 text-to-text 结果。主要依赖如下2项：MediaPipeGemma 2BMediaPipeGoogle 在2017年发布了 TensorFlow Lite， 它是一个用于在Mobile和IoT上进行 ML 推断的轻量级框架。主要用于将 TensorFlow 模型转换为适用于移动设备(Android、IOS)的轻量级模...
LLM 在 Android 端部署与推理的实战全流程：轻量化技术、推理框架与应用集成解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-20 1419
大型语言模型（LLM）以其强大的理解与生成能力已广泛应用于各类智能产品。然而其庞大的参数量和高资源消耗，使其在移动设备上部署面临挑战。本文聚焦 LLM 在 Android 系统中的部署与推理问题，系统性拆解轻量化优化技术（量化、剪枝、蒸馏等），对比主流端侧推理框架（TFLite、MediaPipe、MNN、ONNX Runtime Mobile）在部署效率与兼容性上的实际表现，并结合智能助手、输入法联想、代码补全等场景，提供真实可运行的工程实战路径，帮助开发者系统掌握大模型在移动端的集成落地能力。
本地安装运行LLM(大型语言模型)
ChatGPTer
01-05 2483
ChatGPT虽然很棒，但是数据需要传送到第三方服务器，很多人担心数据安全和数据隐私的问题。那么我们有没有一个方案可以避免上面的问题呢？有的，那就是本地 LLM（大型语言模型）。
Android 设备上运行轻量级 LLM 指南
特立独行的博客
08-26 2301
在设备上运行轻量级 LLM 相当令人印象深刻，表明这些模型变得更加高效
搞懂DeepSeek量化家族：每个版本都在玩什么花样？
qqxdh的博客
02-28 5701
DeepSeek 模型的量化版本很多，如果只看名称，很容易看得眼花缭乱。这里先给大家一张简单对照表，帮助入门理解。量化类型位数显存占用(7B模型)速度(tokens/s)典型特征Q22 位整数约 3.2GB4 - 6极端压缩比例，对精度有明显影响Q4_04 位整数4GB6 - 8基础 4 位量化，普适性较高Q4_K_M4 位整数4.5GB8 - 10在块量化基础上做优化，精度更稳定Q5_K_M5 位整数5GB7 - 9提升精度，牺牲少量显存FP88 位浮点~5GB。
逆天！手机也能部署大模型？DeepSeek-r1 部署教程来了！还在等什么！
python12345_的博客
02-07 3742
现在，大家用手机的时间越来越长，对隐私安全的关注也越来越高。各大厂商也在琢磨，怎么才能让大模型直接跑在手机上。这几天写文章时，发现不少小伙伴都在问：怎么在手机上部署 DeepSeek？
DeepSeek-R1-Distill-Qwen-7B 不同量化版本（Q4_K_M、Q5_K_M、Q6_K、Q8_0）的详细对比分析
学亮编程手记
02-22 1万+
以下是 DeepSeek-R1-Distill-Qwen-7B 不同量化版本（Q4_K_M、Q5_K_M、Q6_K、Q8_0）的详细对比分析，结合技术参数、性能表现和适用场景。
在 Android 设备上运行自己的 AI 聊天机器人
Android技术之家
04-15 2964
你是否厌倦了每次与 AI 助手互动时都不得不将个人数据交给大型客机公司？好消息是，你可能在你的Android 智能手机或平板电脑上直接运行强大的语言模型，这一切都始于llama.cpp。在这个教程中，我将指导你如何在 Android 设备上设置llama.cpp，让您能够亲身体验本地 AI 处理的自由和可定制性。不再依赖于远程服务器，也不必担心您的数据会被泄露。是时候重新掌控局面，释放现在机器学习...
koboldcpp RAG
08-07
KoboldCPP 是一个基于 C/C++ 的本地化运行大型语言模型（LLM）的开源项目，其主要优势在于提供了一个图形界面（GUI）以简化模型的部署和使用。结合 RAG（Retrieval-Augmented Generation）技术，可以进一步增强 KoboldCPP 在问答、文本生成等任务中的表现，特别是在处理特定领域或需要外部知识支持的场景中。 ### 方法概述 KoboldCPP 本身并未直接内置 RAG 技术，但可以通过集成外部检索系统（如向量数据库）和自定义脚本的方式实现 RAG 的功能。RAG 的核心思想是将检索（Retrieval）和生成（Generation）两个阶段分离，具体流程如下： 1. **检索阶段**：在生成答案之前，首先通过查询向量数据库或倒排索引系统，检索出与用户输入相关的文档片段或知识条目。 2. **生成阶段**：将检索到的相关内容作为上下文信息，与用户原始输入一起输入到 KoboldCPP 模型中，模型基于这些信息生成更准确、更具针对性的回答。 ### 实现步骤 1. **准备检索系统**： - 使用向量数据库（如 FAISS、Weaviate 或 Milvus）存储文档的嵌入向量。 - 将文档内容预先编码为向量形式并插入数据库中。 - 当用户提出查询时，使用相同的编码器对查询进行编码，并在向量数据库中检索最相关的文档片段。 2. **集成 KoboldCPP**： - 通过 KoboldCPP 提供的 API 或本地调用方式，将检索到的文档内容拼接至用户输入的上下文中。 - 调整 KoboldCPP 的上下文窗口大小，确保能够容纳原始输入和检索到的上下文信息。 - 配置 KoboldCPP 的生成参数（如 `temperature`、`top_p` 等），以优化生成结果的质量。 3. **编写自定义脚本**： - 使用 Python 或其他支持的语言编写脚本，协调检索与生成过程。 - 脚本应包括查询编码、向量检索、上下文拼接、调用 KoboldCPP 推理接口等模块。 ### 示例代码 以下是一个简化的 Python 脚本示例，展示如何结合 FAISS 和 KoboldCPP 实现 RAG： ```python import faiss import numpy as np from sentence_transformers import SentenceTransformer import requests # 初始化嵌入模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 加载 FAISS 索引 index = faiss.read_index("your_index_file.index") # 文档库（与索引对应） documents = ["文档1内容", "文档2内容", "文档3内容"] def retrieve(query, k=3): # 编码查询 query_embedding = model.encode([query]) # 检索最相关的文档 distances, indices = index.search(np.array(query_embedding), k) return [documents[i] for i in indices[0]] def generate_with_kobold(prompt): # 调用 KoboldCPP 的 API 接口 response = requests.post("http://localhost:5000/api/v1/generate", json={ "prompt": prompt, "max_length": 200, "temperature": 0.7 }) return response.json()['results'][0]['text'] def rag_query(user_query): retrieved_docs = retrieve(user_query) context = "相关文档内容：" + " ".join(retrieved_docs) full_prompt = f"{context}\n用户问题：{user_query}\n回答：" return generate_with_kobold(full_prompt) # 示例使用 user_input = "量子计算的基本原理是什么？" answer = rag_query(user_input) print(answer) ``` ### 注意事项 - **性能优化**：在实际部署中，建议使用 GPU 加速 KoboldCPP 和嵌入模型的推理过程，以提高响应速度。 - **上下文管理**：由于 KoboldCPP 的上下文窗口有限，需合理控制检索内容的长度，避免超出最大长度限制。 - **模型选择**：根据实际需求选择合适的 LLM 模型版本（如 GGUF 格式），以平衡推理速度与生成质量。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值