LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

最新推荐文章于 2025-06-17 15:52:11 发布
最新推荐文章于 2025-06-17 15:52:11 发布
阅读量926 收藏 7
点赞数 4
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AsarumMaxim/article/details/140807815

目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。

1、安装Ollama

Ollama是专门为本地化运行大模型设计的软件，可以简便运行很多开源大模型
去官网下载Ollama软件：

https://ollama.com/

2、设置环境变量

可以直接在CMD中通过set命令设置

set OLLAMA_HOST=127.0.0.1
set OLLAMA_MODELS=d:\ollama\models
set OLLAMA_ORIGINS=app://obsidian.md*

其中，OLLAMA_HOST可以设置为127.0.0.1（本机） 或者0.0.0.0（任意）
OLLAMA_MODELS用于设置模型位置，如果设置了这个环境变量的话，则下载回来的模型会保存在后面设定的位置，如果没设置这个环境变量的话，则会默认保存在

C:\Users\你的用户名\.ollama\models

OLLAMA_ORIGINS用于连接obsidian笔记

3、下载并运行模型

先下载一个用于上载笔记内容至Ollama的模型

ollama pull nomic-embed-text

直接在CMD中使用命令进行下载

ollama run llama3.1:8b

第一次运

最低0.47元/天 解锁文章

200万优质内容无限畅学
杜衡老师
关注
Meta 的 LLaMA 4 系列（1000 万上下文长度）现已推出：推动开源 AI 的发展
iCloudEnd的博客
04-06 454
LLaMA 4 系列是AI 开源生态系统的一次巨大飞跃。Meta 专注于效率、规模和可访问性，为新一波 AI 开发者、初创公司和研究人员赋能。虽然许可问题仍然存在，但 Scout 和 Maverick 的技术卓越性是不可否认的。在我们期待 LLaMA 4 Behemoth 和 4 月 29 日的 LLaMACon 之际，很明显 2025 年将成为超级开放模型的一年——而 Meta 正在引领这一潮流。
llama3.1-8B-微调
m0_57057282的博客
07-26 1620
库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
Kenji_Shinji的博客
07-26 1277
大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。推理部署上，代码拉取、权重下载、权重转换步骤与微调一致，实现权重一键转换，推理结果显示，基于MindSpore Transformers适配的Llama 3.1模型精度与原生模型精度对齐。，即可得到Llama 3.1。
做LLM推理时，常见的显卡如何选择？
2401_82469710的博客
06-17 1717
随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。
大模型部署：LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统（附教程）
最新发布
2401_82469710的博客
06-17 1119
LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2929
TensorFlow相关组件的安装
新鲜出炉，实测开源 AI 模型 Llama3.1 8B
weixin_70955880的博客
07-24 923
正如马克·扎克伯格今天早上在一封公开信中所说的那样：我们相信开源将确保世界各地更多的人能够获得AI的好处和机会，权力不会集中在少数人的手中，这项技术可以在社会中更均匀和安全地部署。刚刚测试了 llama3.1 8B ，效果良好，在无法联网工作的情况下，是一个上佳之选。依据 llama 官方发布的测评结果而言，Llama3.1 70B 与 gpt-3.5 的水平相当， 或者稍高一点。用M3 pro（36GB 内存）运行 70B 十分卡顿， 推测配备高配显卡的电脑运行效果会更优。
部署和体验llama3.1:8B中文微调版本
szw的博客
08-14 4970
llama-3-1 meta于2024-07-23发布文档gitCloudflare提供了免费访问的入口如下，Llama 3.1模型在中文支持方面仍有较大提升空间在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。
基于OBSIDIAN+Ollama+llama3.1构建个人智能助理
wangjye99的博客
08-07 1501
在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。在本文中，我们将使用OBSIDIAN+OLLAMA+llama 3.1-8b来搭建一个简易而高效的个人知识及工作智能助理，从而让您的日常办公、生活、学习更加便捷。
Obsidian+Ollama+llama3.1，自定义构建本地AI助理，无需联网
智能运维及数据中台探索
08-15 2233
在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。今天将带大家一起看下如何使用OBSIDIAN+OLLAMA+LLAMA3.1-8b搭建一个简易而高效的个人知识库及工作智能助理，从而让日常办公、学习、生活更加高效便捷。
在Windows电脑上快速运行AI大语言模型-Llama3
east4ming的博客
04-20 1995
近期 Meta 发布了最新的 Llama3 模型，并开源了开源代码。Meta Llama 3 现已推出 8B 和 70B 预训练和指令调整版本，可支持广泛的应用程序。并且 Llama 3 在语言细微差别、上下文理解和翻译和对话生成等复杂任务方面表现出色。我们可以在 Windows 上快速运行 Llama3 8B 模型。📝Notes郑重声明: 本文几乎没有任何原创内容, 主要资料都来自于网上, 笔者只是总结自己实际可以运行起来的详细步骤, 供各位读者参考.Llmafile。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 870
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
用Ollama 和 Open WebUI本地部署Llama 3.1 8B
chinagaobo的专栏
08-04 1697
Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama的主要功能是在Docker容器内部署和管理大型语言模型（LLM），使得用户能够快速地在本地运行这些模型。它简化了部署过程，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，例如Llama 3.1。本地部署，离线运行，数据无需上传云端，担心隐私泄露。
【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章
LT15171009269的博客
09-24 878
在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背景、特点、部署流程以及使用实例，帮助读者深入了解并掌握这一强大的NLP工具
Llama3.1 8B模型
遗失的神庙
07-25 1365
模型地址：https://github.com/meta-llama/llama-models/blob/main/models/llama3_1模型下载：https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct中文对齐过的模型：https://modelscope.cn/models/shareAI/llama3.1-8b-instruct-dpo-zh
使用Ollama本地部署Llama 3.1大模型
weixin_40258082的博客
07-30 419
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。 ...
基于LaMA-Factory微调llama3.1-8B
m0_70486148的博客
10-11 1874
大模型的训练目前主要分为和，受限于资源算力等原因，实际工作中更多用到的是。对于普通用户来说SFT仍然具备较高的门槛，需要了解一定的理论基础，准备用于微调的数据，由于不同基座模型相应的微调方法也不一样，需要对超参数优化等其他问题这里推荐使用LaMA-Factory支持多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
llama3.1-8b本地部署
12-28
### Llama3.1-8B 模型本地部署指南 为了在本地环境中成功部署 Llama3.1-8B 模型，需遵循特定的安装和配置流程。以下是详细的说明： #### 下载模型文件 要获取所需模型，可以使用官方提供的下载工具来选择并下载指定版本的 Llama3.1-8B-Instruct 模型[^1]。 ```bash llama model download --source meta --model-id Llama3.1-8B-Instruct ``` 此命令会自动处理模型及其依赖项的下载过程。 #### 安装必要的软件包 确保已安装 Python 及其虚拟环境管理器（如 `venv` 或 `conda`），以便创建独立的工作区。接着，按照项目文档中的指导安装所有必需的Python库和其他组件。 对于基于 PyTorch 的实现方式，建议先确认 GPU 是否可用以及 CUDA 版本是否兼容。如果硬件支持 NVIDIA 显卡，则应优先考虑利用 GPU 加速计算性能。 #### 设置运行环境 完成上述准备工作之后，进入解压后的模型目录，并加载预训练权重至内存中准备推理服务。此时可以根据实际需求调整一些参数设置，比如批量大小(batch size)、最大序列长度(max sequence length)等超参选项。 #### 启动推理服务器 最后一步是启动一个简单的 HTTP API 接口用于接收外部请求并向用户提供预测结果。通常情况下，开发者会选择 Flask/Django REST framework 构建轻量级 Web 应用程序作为前端入口；而对于生产级别应用场景来说，可能还会涉及到负载均衡、错误恢复机制等方面的考量。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained('path/to/local/model') model = AutoModelForCausalLM.from_pretrained('path/to/local/model') def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(device='cuda' if torch.cuda.is_available() else 'cpu') outputs = model.generate(inputs) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return generated_text ``` 这段代码展示了如何初始化 Hugging Face Transformers 中的 Tokenizer 和 Model 类实例，并定义了一个名为 `generate_text()` 函数来进行文本生成操作[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值