深圳dengdi-优快云博客

原创基于DeepSeek-V3开发MCP天气查询智能体

Ubuntu24.04，基于miniconda，利用在线DeepSeek-V3大模型，通过MCP实现天气查询智能体。代码参考B站UP主“九天Hector”的“MCP技术开发入门实战”。个人用不习惯uv，用conda调整了一下。详细讲解视频，参考B站UP主“九天Hector”的视频及代码讲解。这个代码属于MCP的一个入门学习。通过mcp，挂DeepSeek在线模型，调用服务端天气查询智能体。注册账户，申请一个API Key。注册账户，申请一个API Key。六、Client端代码。

2025-03-23 16:27:58 1547

原创 4090显卡，通过unsloth对DeepSeek-R1-Distill-Llama-8B模型进行推理和CoT微调训练

参考B站“九天Hector”的DeepSeek R1微调实战视频的介绍，在4090 GPU上，测试了DeepSeek-R1-Distill模型的推理和微调训练。到wandb上注册一个账户，生成key，例如：key:0123456789。"YOUR_WANDB_API_KEY"是之前申请的wandb key。question = "请问如何证明根号2是无理数？4090关闭P2P和InfiniBand。

2025-02-27 01:12:37 512

原创 2080ti*2，Ubuntu vllm+openweb-ui运行deepseek-r1

2080ti，可以用ollama运行deepseek-r1，qwen蒸馏版本。但ollama模型有压缩，生产环境还是用vllm推理原生模型更合适。1、安装vllm和modelscopepip install vllm modelscope -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/ 2、下载deepseek-r1模型，并启动mkdir deepseek-aimkdir deepseek-ai/DeepSeek-R1-Distill-Qw

2025-02-16 00:02:27 493

原创 ubuntu下通过ollama+openwebui，安装本地版本deepseek-r1

启动后，命令行出现“>>> Send a message (/?ollama的DeepSeek模型是q4_k_m量化，所以需要的显存要比常规要少一些。左上角选择启动的deepseek模型，就可以本地运行deepseek了。基于miniconda，创建虚拟环境（请提前安装miniconda）新开一个命令行界面，不要关闭ollama命令行界面。首次启动需要配置管理员账户、邮箱地址、密码。2、运行deepseek-r1。5、安装openweb-ui。7、启动openwebui。1、安装ollama。

2025-02-15 20:17:12 320

原创 windows下安装langchain-chatchat0.2.5

2-1、如果没有GPU或者GPU显存小于12G，建议用在线大模型：用文本编辑器修改config目录中的model_config.py文件，将申请的大模型key输入到114~184行，同时修改100行LLM_MODEL为对应大模型，例如："zhipu-api"因国内访问huggingface.co困难，做了一个windows下的整合包，内置了chatglm2-6B、m3e-base，可以本地运行langchain-chatchat0.2.5的LLM、知识库、搜索增强等功能。

2023-10-01 06:59:20 738

原创 windows10下安装CodeGeeX2，AI编程助手

3、启动后通过本地http://127.0.0.1:7860访问，也会生成一个72小时的公网URL，供远程访问。1、下载程序：git clone https://github.com/THUDM/CodeGeeX2。2、直接用ChatGLM2-6B的依赖python .\demo\run_demo.py即可启动。链接:https://caiyun.139.com/m/i?如果嫌安装依赖麻烦，做了一个不带模型的整合包，下载后点击run.bat即可运行。

2023-07-28 19:52:20 2220 1

原创整合包：Windows下一键部署chatglm2-6b

链接:https://caiyun.139.com/m/i?run_CPU运行.bat：无需CPU，速度比较慢。解压后点击“runxxx.bat”文件运行。run_6G显存运行.bat：小显存显卡。run_13G显存运行：大显存显卡。

2023-06-26 16:21:39 1232 4

原创如何在windows上本地部署SadTalker，实现AI数字人

解压：ffmpeg-6.0-full_build-shared.zip 到根目录（例如：c:\ffmpeg-6.0-full_build-shared）解压：ffmpeg-6.0-full_build-shared.zip 到根目录（例如：c:\ffmpeg-6.0-full_build-shared）下载：ffmpeg-6.0-full_build-shared.zip。下载：ffmpeg-6.0-full_build-shared.zip。安装依赖并启动：python Launcher.py。

2023-06-20 10:22:33 6166 6

原创如何在windows上本地部署audiocraft，实现电脑AI作曲

下载：https://huggingface.co/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.whl。下载：https://huggingface.co/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.whl。打开：https://github.com/GyanD/codexffmpeg/releases。

2023-06-19 16:05:57 1469

原创 windows10下本地部署langChain-ChatGLM2-6B

设备配置：CPU E3-1240v3, RAM 32G, SSD 1T, GPU0 Nvidia 1080ti，GPU1 Nvidia T4。打开windows资源查看器，内存全部占满。遗留问题，默认webug.py没用gpu，纯cpu跑，速度非常慢。使用浏览器打开 http://localhost:7860/如果显示 Conda 及其内部包的列表,则说明安装成功。4.添加必要的 Conda 通道以获取更多软件包，如果报错（一般都是传输超时），则重新运行几次。没有加载到GPU，全用CPU跑了。

2023-06-07 12:39:23 4190 5

qq_43335960的博客