亲自动手在本地部署通义千问Qwen2大模型
关注
分享
扫一扫
文章平均质量分 96
亲自动手实践，通过多种方式在本地部署大语言模型，以通义千问Qwen2大模型为例，探索本地部署大模型的工具、方法，并在此过程中学习了解大模型的相关知识，分享经验心得。
康顺哥
本人从事通信和智能设备嵌入式研发和管理二十多年，强烈看好物联网行业发展趋势，更为AI的迅速发展而兴奋，我相信人工智能(AI)与物联网(IOS)的结合将催生出崭新的智慧地球，我立志投身于智能软硬件系统的开发和推广，发挥科技服务于人类生活的宗旨，实现社会和个人价值。
展开
-
Docker+Ollama+RAGFlow本地部署DeepSeek R1并构建本地知识库
本文详细记录了通过Ollama安装DeepSeek R1:7B模型，通过Docker加载Open-WebUI，RAGFlow框架，并以RAGFlow为基础搭建本地知识库，其中embedding模型选择了比较受欢迎的nomic-embed-text。通过对通用大模型融合本地知识库进行推理的亲自体验，形成对于DeepSeek等AI大模型利用方式的新认识。原创 2025-03-04 16:30:08 · 1301 阅读 · 0 评论 -
本地部署Qwen2大模型之六：几种AI大模型部署模式的比较
在动手实践本地部署Qwen2大模型的过程中，我遇到了很多的实际问题，花了很多时间和心思来解决。也正是解决这些问题的经历，让我逐渐对AI大模型的部署有了比较清晰的了解，也形成了几种不同部署模式的概念。本文尝试对几种典型的AI大模型部署模式进行对比分析，为后期围绕AI开发应用提供参考。原创 2024-12-28 00:11:55 · 1151 阅读 · 0 评论 -
本地部署Qwen2大模型之三：编译CPU版vLLM
继续探究vLLM方式在本地部署Qwen2大模型的方法，对于未配备GPU的电脑，手动编译并安装CPU版的vLLM。原创 2024-12-24 03:13:53 · 4343 阅读 · 0 评论 -
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。原创 2024-12-27 01:42:02 · 976 阅读 · 0 评论 -
本地部署Qwen2大模型之一：Ollama方式部署
字节跳动在2024年12 月 18 日举办了火山引擎 FORCE 原动力大会，会上发布了豆包视觉理解模型和豆包 3D 生成模型，引起了AI业界的一片骚动，吸引了无数AI创业者和终端用户的眼光，我也开始关注起了豆包，并尝试接入大模型，进而在本地部署Qwen2大模型。原创 2024-12-21 19:17:20 · 3152 阅读 · 0 评论 -
本地部署Qwen2大模型之二：vLLM方式部署
本文继续详细记录通过vLLM方式在本地部署该大模型的过程。原创 2024-12-23 00:08:11 · 2087 阅读 · 0 评论 -
本地部署Qwen2大模型之四：模型参数调整
继续深入调试vLLM方式部署Qwen2大模型，经过各种尝试，最后终于跑起来了，完成一问一答。原创 2024-12-27 01:36:51 · 1289 阅读 · 0 评论