【004】deepseek本地化部署后,python的调用方式_#py

1 本地化部署deepseek

已经有很多大佬们说了不少部署本地化部署deepseek的工作了,我就不过多重复了。
先安装Ollama软件/可以点击此处直接获取安装包,再通过Ollama获取deepseek的模型文件,大家根据电脑的配置安装对应的模型,如果不是4090显卡建议就安装deepseek-r1:1.5b 。

# Ollama的下载地址 
https://ollama.com
# ollama中下载deepseek模型的口令
ollama pull deepseek-r1:1.5b

需要注意的是,安装ollama后,所有ollama指令通过CMD触发。

2 python调用方式

# 这个是ollama调用语言模型的地址
http://localhost:11434/api/generate

通过这个地址也可以利用浏览器进行调用

在python中主要是通过以下代码实现调用
其中json中的model的值为“deepseek-r1:1.5b”可替换为其他模型的名称,可以通过ollama list进行获取模型名称。

import requests

def ask(content):
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": "deepseek-r1:1.5b",
            "prompt": content,
            "stream": False
        }
    )
    print(response.json()["response"])

while True:
    content = input("请输入您的问题:")
    ask(content)

### Deepseek 本地部署后的训练操作指南 在完成 Deepseek本地化部署后,为了启动模型的训练过程,需遵循特定的操作流程。对于不同规模的数据集和硬件配置,推荐采用不同的策略。 #### 配置环境变量 确保所有必要的环境变量已设置完毕。这通常涉及指定数据路径、日志目录以及其他可能影响训练过程的关键参数[^1]。 ```bash export DATA_PATH=/path/to/your/dataset export LOG_DIR=/path/to/save/logs ``` #### 准备训练脚本 准备一个 Python 脚本来定义训练的具体细节,比如批次大小(batch size),学习率(learning rate)等超参数的选择。这里提供了一个简单的例子: ```python import torch from transformers import Trainer, TrainingArguments, AutoModelForCausalLM, AutoTokenizer model_name_or_path = "deepseek-r1:7b" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) training_args = TrainingArguments( output_dir='./results', num_train_epochs=3, per_device_train_batch_size=4, save_steps=10_000, save_total_limit=2, prediction_loss_only=True, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, tokenizer=tokenizer, ) trainer.train() ``` 此代码片段展示了如何利用 Hugging Face Transformers 库中的 `Trainer` 类来进行模型训练。注意替换实际使用的模型名称以及调整其他适合具体场景下的参数值。 #### 启动训练作业 通过命令行工具提交上述编写的训练脚本给计算资源管理器(如 Slurm 或 Kubernetes),或者直接运行该脚本以开始训练进程。如果是在支持 GPU 加速的工作站上执行,则可以简单地调用如下命令: ```bash python train.py ``` 对于更大规模的任务,考虑使用分布式训练框架来充分利用集群内的多台机器并提高效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木易:_/

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值