LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

最新推荐文章于 2025-06-17 15:52:11 发布

原创

最新推荐文章于 2025-06-17 15:52:11 发布 · 925 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。

1、安装Ollama

Ollama是专门为本地化运行大模型设计的软件，可以简便运行很多开源大模型
去官网下载Ollama软件：

https://ollama.com/

2、设置环境变量

可以直接在CMD中通过set命令设置

set OLLAMA_HOST=127.0.0.1
set OLLAMA_MODELS=d:\ollama\models
set OLLAMA_ORIGINS=app://obsidian.md*

其中，OLLAMA_HOST可以设置为127.0.0.1（本机）或者0.0.0.0（任意）
OLLAMA_MODELS用于设置模型位置，如果设置了这个环境变量的话，则下载回来的模型会保存在后面设定的位置，如果没设置这个环境变量的话，则会默认保存在

C:\Users\你的用户名\.ollama\models

OLLAMA_ORIGINS用于连接obsidian笔记

3、下载并运行模型

先下载一个用于上载笔记内容至Ollama的模型

ollama pull nomic-embed-text

直接在CMD中使用命令进行下载

ollama run llama3.1:8b

第一次运

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

杜衡老师

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Meta 的 LLaMA 4 系列（1000 万上下文长度）现已推出：推动开源 AI 的发展

iCloudEnd的博客

04-06

453

LLaMA 4 系列是AI 开源生态系统的一次巨大飞跃。Meta 专注于效率、规模和可访问性，为新一波 AI 开发者、初创公司和研究人员赋能。虽然许可问题仍然存在，但 Scout 和 Maverick 的技术卓越性是不可否认的。在我们期待 LLaMA 4 Behemoth 和 4 月 29 日的 LLaMACon 之际，很明显 2025 年将成为超级开放模型的一年——而 Meta 正在引领这一潮流。

llama3.1-8B-微调

m0_57057282的博客

07-26

1618

库中用于特定任务（例如微调）的训练类。代码配置了训练参数、数据集和模型，并为训练过程定义了一些关键设置。3）应用LoRA技术来减少模型训练和推理时的内存使用，同时保持模型性能。进行模型推理，生成一个给定指令的响应。9）推送模型到hugging-face。4）加载一个数据集，并规范格式。实例，用于训练一个语言模型。使用unslothai微调。10)加在本地模型进行推理。

参与评论您还未登录，请先登录后发表或查看评论

6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新

Kenji_Shinji的博客

07-26

1275

大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。推理部署上，代码拉取、权重下载、权重转换步骤与微调一致，实现权重一键转换，推理结果显示，基于MindSpore Transformers适配的Llama 3.1模型精度与原生模型精度对齐。，即可得到Llama 3.1。

做LLM推理时，常见的显卡如何选择？

2401_82469710的博客

06-17

1715

随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。

大模型部署：LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统（附教程）

最新发布

2401_82469710的博客

06-17

1116

LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

TensorFlow相关组件的安装

AAI666666的博客

01-11

2929

TensorFlow相关组件的安装

新鲜出炉，实测开源 AI 模型 Llama3.1 8B

weixin_70955880的博客

07-24

923

正如马克·扎克伯格今天早上在一封公开信中所说的那样：我们相信开源将确保世界各地更多的人能够获得AI的好处和机会，权力不会集中在少数人的手中，这项技术可以在社会中更均匀和安全地部署。刚刚测试了 llama3.1 8B ，效果良好，在无法联网工作的情况下，是一个上佳之选。依据 llama 官方发布的测评结果而言，Llama3.1 70B 与 gpt-3.5 的水平相当，或者稍高一点。用M3 pro（36GB 内存）运行 70B 十分卡顿，推测配备高配显卡的电脑运行效果会更优。

部署和体验llama3.1:8B中文微调版本

szw的博客

08-14

4969

llama-3-1 meta于2024-07-23发布文档gitCloudflare提供了免费访问的入口如下，Llama 3.1模型在中文支持方面仍有较大提升空间在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。

基于OBSIDIAN+Ollama+llama3.1构建个人智能助理

wangjye99的博客

08-07

1499

在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。在本文中，我们将使用OBSIDIAN+OLLAMA+llama 3.1-8b来搭建一个简易而高效的个人知识及工作智能助理，从而让您的日常办公、生活、学习更加便捷。

Obsidian+Ollama+llama3.1，自定义构建本地AI助理，无需联网

智能运维及数据中台探索

08-15

2232

在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。今天将带大家一起看下如何使用OBSIDIAN+OLLAMA+LLAMA3.1-8b搭建一个简易而高效的个人知识库及工作智能助理，从而让日常办公、学习、生活更加高效便捷。

在Windows电脑上快速运行AI大语言模型-Llama3

east4ming的博客

04-20

1994

别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

2301_81888214的博客

02-13

867

别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

用Ollama 和 Open WebUI本地部署Llama 3.1 8B

chinagaobo的专栏

08-04

1695

Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama的主要功能是在Docker容器内部署和管理大型语言模型（LLM），使得用户能够快速地在本地运行这些模型。它简化了部署过程，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，例如Llama 3.1。本地部署，离线运行，数据无需上传云端，担心隐私泄露。

【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章

LT15171009269的博客

09-24

875

在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背景、特点、部署流程以及使用实例，帮助读者深入了解并掌握这一强大的NLP工具

Llama3.1 8B模型

遗失的神庙

07-25

1359

模型地址：https://github.com/meta-llama/llama-models/blob/main/models/llama3_1模型下载：https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct中文对齐过的模型：https://modelscope.cn/models/shareAI/llama3.1-8b-instruct-dpo-zh

使用Ollama本地部署Llama 3.1大模型

weixin_40258082的博客

07-30

419

Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens，增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。 ...

基于LaMA-Factory微调llama3.1-8B

m0_70486148的博客

10-11

1871

大模型的训练目前主要分为和，受限于资源算力等原因，实际工作中更多用到的是。对于普通用户来说SFT仍然具备较高的门槛，需要了解一定的理论基础，准备用于微调的数据，由于不同基座模型相应的微调方法也不一样，需要对超参数优化等其他问题这里推荐使用LaMA-Factory支持多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。

llama3.1-8b本地部署

12-28

### Llama3.1-8B 模型本地部署指南为了在本地环境中成功部署 Llama3.1-8B 模型，需遵循特定的安装和配置流程。以下是详细的说明： #### 下载模型文件要获取所需模型，可以使用官方提供的下载工具来选择并下载指定版本的 Llama3.1-8B-Instruct 模型[^1]。 ```bash llama model download --source meta --model-id Llama3.1-8B-Instruct ``` 此命令会自动处理模型及其依赖项的下载过程。 #### 安装必要的软件包确保已安装 Python 及其虚拟环境管理器（如 `venv` 或 `conda`），以便创建独立的工作区。接着，按照项目文档中的指导安装所有必需的Python库和其他组件。对于基于 PyTorch 的实现方式，建议先确认 GPU 是否可用以及 CUDA 版本是否兼容。如果硬件支持 NVIDIA 显卡，则应优先考虑利用 GPU 加速计算性能。 #### 设置运行环境完成上述准备工作之后，进入解压后的模型目录，并加载预训练权重至内存中准备推理服务。此时可以根据实际需求调整一些参数设置，比如批量大小(batch size)、最大序列长度(max sequence length)等超参选项。 #### 启动推理服务器最后一步是启动一个简单的 HTTP API 接口用于接收外部请求并向用户提供预测结果。通常情况下，开发者会选择 Flask/Django REST framework 构建轻量级 Web 应用程序作为前端入口；而对于生产级别应用场景来说，可能还会涉及到负载均衡、错误恢复机制等方面的考量。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained('path/to/local/model') model = AutoModelForCausalLM.from_pretrained('path/to/local/model') def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(device='cuda' if torch.cuda.is_available() else 'cpu') outputs = model.generate(inputs) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return generated_text ``` 这段代码展示了如何初始化 Hugging Face Transformers 中的 Tokenizer 和 Model 类实例，并定义了一个名为 `generate_text()` 函数来进行文本生成操作[^4]。