AI大模型
关注
分享
扫一扫
文章平均质量分 93
分享关于AI、机器学习和大语言模型LLM等方面的学习、实践过程和心得经验的文章。
康顺哥
本人从事通信和智能设备嵌入式研发和管理二十多年，强烈看好物联网行业发展趋势，更为AI的迅速发展而兴奋，我相信人工智能(AI)与物联网(IOS)的结合将催生出崭新的智慧地球，我立志投身于智能软硬件系统的开发和推广，发挥科技服务于人类生活的宗旨，实现社会和个人价值。
展开
-
Docker+Ollama+RAGFlow本地部署DeepSeek R1并构建本地知识库
本文详细记录了通过Ollama安装DeepSeek R1:7B模型，通过Docker加载Open-WebUI，RAGFlow框架，并以RAGFlow为基础搭建本地知识库，其中embedding模型选择了比较受欢迎的nomic-embed-text。通过对通用大模型融合本地知识库进行推理的亲自体验，形成对于DeepSeek等AI大模型利用方式的新认识。原创 2025-03-04 16:30:08 · 1301 阅读 · 0 评论 -
“扣子”开发之四：与千帆AppBuilder比较
已决定暂离扣子平台，寻求其他更好的AI开发平台。经过搜索比对，选了千帆AppBuilder来研究。不看不知道，一看吓一跳，怎么这么“像”？全面了解了下，并不值得投身其中。那，还有什么平台可选呢？！原创 2025-01-14 12:48:06 · 1072 阅读 · 0 评论 -
“扣子”开发之三：反复尝试之后只能决定暂时放弃！
上一篇文章 在简单体验了通过“扣子”平台开发AI应用之后，感觉还是有很多不成熟或者理解不清楚的地方，开发遇到了比较大的障碍。但是我并不想轻易放弃这个新生事物，想着再多花点时间试一试，更深入的学习了解一下，希望能跟它一起成长。但是，单方面的热情终归还是被消耗殆尽，它现在还承载不起我想用它加快AI应用开发的希望！我只能决定暂别这个平台，另寻它途。原创 2025-01-13 10:45:15 · 940 阅读 · 0 评论 -
“扣子”开发之二：初尝AI应用
初步尝试了在扣子平台进行智能体的开发，也进一步探索了AI应用的开发，第一印象非常方便，但实际着手开发后也发现了很多的不足。智能体的开发过于简单，逻辑偏弱；AI应用的开发则有待完善。作为新生事物的AI开发平台，值得期待，但仍有实际的路程需要经历和磨练。原创 2025-01-04 22:58:25 · 1227 阅读 · 0 评论 -
“扣子”开发之一：“扣子”初体验
扣子”的英文名叫Coze，这个名字大概同时匹配了其中英文的发音，也同时契合了扣子的目标功能定位。扣子是新一代 AI 应用开发平台。它是字节跳动公司基于火山引擎（也就是字节跳动提供互联网云服务的平台）和豆包大模型而推出的，供用户定制开发各种AI应用的平台。核心特征：第一、扣子是个开发平台；第二、用扣子开发的是AI应用，包括智能体和功能更为全面的AI应用。原创 2024-12-29 14:28:49 · 3470 阅读 · 0 评论 -
本地部署Qwen2大模型之六：几种AI大模型部署模式的比较
在动手实践本地部署Qwen2大模型的过程中，我遇到了很多的实际问题，花了很多时间和心思来解决。也正是解决这些问题的经历，让我逐渐对AI大模型的部署有了比较清晰的了解，也形成了几种不同部署模式的概念。本文尝试对几种典型的AI大模型部署模式进行对比分析，为后期围绕AI开发应用提供参考。原创 2024-12-28 00:11:55 · 1151 阅读 · 0 评论 -
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。原创 2024-12-27 01:42:02 · 976 阅读 · 0 评论 -
本地部署Qwen2大模型之三：编译CPU版vLLM
继续探究vLLM方式在本地部署Qwen2大模型的方法，对于未配备GPU的电脑，手动编译并安装CPU版的vLLM。原创 2024-12-24 03:13:53 · 4343 阅读 · 0 评论 -
本地部署Qwen2大模型之一：Ollama方式部署
字节跳动在2024年12 月 18 日举办了火山引擎 FORCE 原动力大会，会上发布了豆包视觉理解模型和豆包 3D 生成模型，引起了AI业界的一片骚动，吸引了无数AI创业者和终端用户的眼光，我也开始关注起了豆包，并尝试接入大模型，进而在本地部署Qwen2大模型。原创 2024-12-21 19:17:20 · 3152 阅读 · 0 评论 -
本地部署Qwen2大模型之二：vLLM方式部署
本文继续详细记录通过vLLM方式在本地部署该大模型的过程。原创 2024-12-23 00:08:11 · 2087 阅读 · 0 评论 -
本地部署Qwen2大模型之四：模型参数调整
继续深入调试vLLM方式部署Qwen2大模型，经过各种尝试，最后终于跑起来了，完成一问一答。原创 2024-12-27 01:36:51 · 1289 阅读 · 0 评论