本地安装运行LLM(大型语言模型)

原创 已于 2024-05-29 00:31:29 修改 · 2.4k 阅读 · 14 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#语言模型 #人工智能 #自然语言处理 #LLM

于 2024-01-05 15:31:42 首次发布
作者的新书《AndroidApp开发入门与实战》已出版，同时讨论了ChatGPT的数据隐私顾虑。文章介绍了一个本地大型语言模型(LLM)的安装和使用方法，作为保护用户数据安全的替代方案。
部署运行你感兴趣的模型镜像

我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

ChatGPT虽然很棒，但是数据需要传送到第三方服务器，很多人担心数据安全和数据隐私的问题。

那么我们有没有一个方案可以避免上面的问题呢？

有的，那就是本地 LLM（大型语言模型）。

1.安装

访问lmstudio(dot)ai，下载对应的版本：

2.搜索 + 下载LLM

3.选择LLM

4.配置

5.运行

职场攻略与副业指南，成就你的IT人生。快扫描下面二维码关注吧！

ba1e8177db424136a3b666cf83ea7eef.png

 

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

深度学习-45-大型语言模型LLM之本地化部署运行自己的大模型
qq_20466211的博客
04-23 1994
两个可以运行在本地的大模型工具：ollama和llama.cpp，尤其是ollama，本地跑一个大模型特别简单。无论是Ollama还是llama.cpp都是运行的量化后的模型（GGUF格式的），所以对电脑配置的要求大幅降低。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
热门推荐
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 7474
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
如何使用 LM Studio 在本地运行 LLM？大模型入门到精通，收藏这篇就足够了！
最新发布
huang9604的博客
10-28 1236
本文将从安装到运行，详解关键操作、常见坑点，以及本地 LLM 带来的独特优势。不管你是 AI 发烧友，还是刚入门的好奇者，这份实用指南都能让你快速上车。
本地部署llm
clt123321的博客
08-28 374
运行完就可以实现问答了，llama3模型主要语言是英文。# Snap应用会自动管理服务，不需要手动启用。# 下载并运行Llama 3（8B版本）4）安装deepseek大模型。1）安装并启动ollama。# 或者使用Snap安装。cpu、Gpu、内存。# 查看已安装的模型。
本地部署LLM（Ollama和Open-WebUI）
Morejay的博客
07-31 5188
LLM（大语言模型）因为对设备的性能要求比较高，一般是部署在云端，通过网络远程访问。那么想在本地部署（玩一玩）能不能做到呢？Ollama就是实现这个目的的工具。Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。Ollama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。
在本地运行LLM的6种方法
Python_cocola的博客
04-16 2292
商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。
Byzer-LLM环境安装
qq_42681787的博客
08-11 711
Byzer-LLM 是基于 Byzer 的一个扩展，让用户可以端到端的完成业务数据获取，处理，finetune大模型，多场景部署大模型等全流程。该扩展的目标也是为了让企业更好的将业务数据注入到私有大模型（开源或者商业），并且可对外提供多场景部署形态，诸如 ETL, 流式计算，API 服务 等。
通过 Ollama 获取并运行本地大型语言模型（LLM）
longma666666的博客
07-16 1269
Ollama 允许通过Modelfile自定义模型，适合需要特定配置或导入外部模型（例如 GGUF 格式）的场景。
DeepSeek Memory是一个基于Python的交互式终端应用程序，它使用持久内存来增强本地大型语言模型（LLM）…
08-29
DeepSeek Memory是一款基于Python的交互式终端应用，可借助持久内存增强本地大型语言模型（LLM）功能。它通过Ollama运行本地LLM（如DeepSeek-R1:1.5b，也可自选其他模型），并留存会话间的对话历史，实现个性化、上...
大型语言模型（LLM）理论简介
weixin_41799190的博客
06-20 1374
为了解决大型语言模型在处理文本时面临的信息偏差/幻觉，知识更新滞后，内容不可追溯，专业领域知识欠缺，推理能力限制，应用场景适应性受限，长文本处理能力较弱等文通，研究人员提出了一种新的模型架构：检索增强生成（RAG, Retrieval-Augmented Generation）。该架构巧妙地整合了从庞大知识库中检索到的相关信息，并以此为基础，指导大型语言模型生成更为精准的答案。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括 API 集成、互动逻辑、数据存储等等。
如何本地部署llm
Debug yourself!
02-23 871
总结一下，本地部署LLM的关键步骤包括准备硬件环境、安装依赖、加载预训练模型、优化性能、创建API服务并进行部署。如果有任何问题或具体的实现细节，随时告诉我！LLM通常需要大量的计算资源。特别是像GPT、BERT之类的模型，它们需要较强的GPU或TPU支持。如果模型非常大，或者你计划部署多个模型实例，可能需要考虑负载均衡和资源管理工具，如Kubernetes等。大多数LLM都有预训练模型可供使用。接口，你就可以发送文本并得到模型的推理结果。
【AI】本地LLM部署
专注大前端
07-02 1358
下载中断后可恢复，未下载完全的文件会存在其文件夹中。
LLM安装完全指南：pip、Homebrew、pipx与uv多方式对比测评
gitblog_00783的博客
09-12 759
你是否还在为Python包管理工具的选择而纠结？面对LLM（Large Language Model，大型语言模型）这样的开发工具，安装方式的选择直接影响后续使用体验。本文将从普通用户和开发者双视角，对比pip、Homebrew、pipx与uv四种主流安装方式的优劣，通过实测数据和场景化分析，帮你找到最适合的LLM部署方案。 读完本文你将获得： - 4种安装方式的详细操作指南与命令示例 - 跨平...
Android APP 集成本地大模型 LLM
zxm317122667的专栏
12-24 1674
这篇文章介绍如何在Android项目中集成大模型LLM，并展示大模型 text-to-text 结果。主要依赖如下2项：MediaPipeGemma 2BMediaPipeGoogle 在2017年发布了 TensorFlow Lite， 它是一个用于在Mobile和IoT上进行 ML 推断的轻量级框架。主要用于将 TensorFlow 模型转换为适用于移动设备(Android、IOS)的轻量级模...
本地私有部署LLM的开源资源分享与评鉴
qq_64955200的博客
05-29 1137
ollama是一个简明易用的本地大模型运行框架，可以在消费级计算机运行llama.cpp项目的16位浮点精度(FP16)或4-bit量化的模型。Langchain-chat chat这是一个由国内开发者基于当下流行的LangChain进一步开发的推理框架，它同时支持多种国内外本地大语言模型和在线模型API，除了基础的LLM对话，还集成了文档阅读、本地向量知识库、在线搜索引擎API、Agent等。我们会很偶然地遇到有这种本地部署，不联网的需求，至于为什么我已经不愿解释，因为我也不懂为什么。
230502-LLM-Vicuna介绍、安装与注意事项整理
专注机器学习之路
05-02 3547
230502-LLM-Vicuna介绍、安装与注意事项整理
6个开源的最佳本地运行大语言模型（LLM）工具，大模型入门到精通，收藏这篇就足够了！
huang9604的博客
10-10 1717
本文将介绍开发者可用于本地运行与测试 LLM 的六款顶级工具。这些工具的核心优势在于：数据永远不会离开你的设备，正如端到端加密[1]在通信中保护隐私一样，它们让你在本地处理文本生成、模型推理等任务。
为什么要选择使用本地部署的LLM大模型？
EnjoyEDU的博客
10-08 1682
本地LLMs提供高级配置选项，包括CPU线程、温度、上下文长度、GPU设置等，类似于OpenAI的playground。可以根据自己的具体需求调整LLM，尝试不同的设置，并将其整合到现有的基础设施中。由于LLMs是无状态的，可以随时在HuggingFace上提供的50万个模型中进行切换。因此，为企业不同的任务使用不同的模型。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值