LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

目前,LLAMA3.1模型分为8B、70B、405B三个版本,其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法,用一张4090也是带不起来的),所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

经过我的测试4080、2080、intel ultra 9 185H(无独立显卡,其能力约相当于1060)都是可以带得动8B模型的,当然显卡越好,响应的速度越快。

1、安装Ollama

Ollama是专门为本地化运行大模型设计的软件,可以简便运行很多开源大模型
去官网下载Ollama软件:

https://ollama.com/ 

2、设置环境变量

可以直接在CMD中通过set命令设置

set OLLAMA_HOST=127.0.0.1
set OLLAMA_MODELS=d:\ollama\models
set OLLAMA_ORIGINS=app://obsidian.md*

其中,OLLAMA_HOST可以设置为127.0.0.1(本机) 或者0.0.0.0(任意)
OLLAMA_MODELS用于设置模型位置,如果设置了这个环境变量的话,则下载回来的模型会保存在后面设定的位置,如果没设置这个环境变量的话,则会默认保存在

C:\Users\你的用户名\.ollama\models

OLLAMA_ORIGINS用于连接obsidian笔记

3、下载并运行模型

先下载一个用于上载笔记内容至Ollama的模型

ollama pull nomic-embed-text

直接在CMD中使用命令进行下载

ollama run llama3.1:8b

第一次运

### Llama3.1-8B 模型本地部署指南 为了在本地环境中成功部署 Llama3.1-8B 模型,需遵循特定的安装和配置流程。以下是详细的说明: #### 下载模型文件 要获取所需模型,可以使用官方提供的下载工具来选择下载指定版本的 Llama3.1-8B-Instruct 模型[^1]。 ```bash llama model download --source meta --model-id Llama3.1-8B-Instruct ``` 此命令会自动处理模型及其依赖项的下载过程。 #### 安装必要的软件包 确保已安装 Python 及其虚拟环境管理器(如 `venv` 或 `conda`),以便创建独立的工作区。接着,按照项目文档中的指导安装所有必需的Python库和其他组件。 对于基于 PyTorch 的实现方式,建议先确认 GPU 是否可用以及 CUDA 版本是否兼容。如果硬件支持 NVIDIA 显卡,则应优先考虑利用 GPU 加速计算性能。 #### 设置运行环境 完成上述准备工作之后,进入解压后的模型目录,加载预训练权重至内存中准备推理服务。此时可以根据实际需求调整一些参数设置,比如批量大小(batch size)、最大序列长度(max sequence length)等超参选项。 #### 启动推理服务器 最后一步是启动一个简单的 HTTP API 接口用于接收外部请求向用户提供预测结果。通常情况下,开发者会选择 Flask/Django REST framework 构建轻量级 Web 应用程序作为前端入口;而对于生产级别应用场景来说,可能还会涉及到负载均衡、错误恢复机制等方面的考量。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch tokenizer = AutoTokenizer.from_pretrained('path/to/local/model') model = AutoModelForCausalLM.from_pretrained('path/to/local/model') def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(device='cuda' if torch.cuda.is_available() else 'cpu') outputs = model.generate(inputs) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return generated_text ``` 这段代码展示了如何初始化 Hugging Face Transformers 中的 Tokenizer 和 Model 类实例,定义了一个名为 `generate_text()` 函数来进行文本生成操作[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值