yxkong的专栏

昨天压测完以后，今天群里的小伙伴讨论的很热烈，有个小伙伴推荐了一个工具。覆盖两个场景。

vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。

之前在聊一个问题，dify分享出去以后谁都可以用,如果在玩一些有趣的东西的时候，会…

工作流通过将复杂的任务分解成较小的步骤（节点）降低系统复杂度，减少了对提示词技术和模型推理能力的依赖，提高了 LLM 应用面向复杂任务的性能，提升了系统的可解释性、稳定性和容错性。一个完整的工作流，必须具备开始和结束两个节点。Chatflow：面向对话类情景，包括客户服务、语义搜索、以及其他需要在构建响应时进行多步逻辑的对话式应用程序。Workflow：面向自动化和批处理情景，适合高质量翻译、数据分析、内容生成、电子邮件自动化等应用程序。

1，我已经将大部分问题都上传到知识库了，大家有什么问题，先发公众号私信就行，有大模型处理。打开dockerDesktop，点击对应的nginx，可以查看对应的报错日志，有出现。当我们通过应用提问的时候，会从知识库检索出匹配的几个片段，+问题，一起提交给大模型。本地知识库都是存储在本地的，并且都是程序内置的，每隔一个客户端的知识库都是隔离的。2月18日拉取的官方代码，使用docker部署的时候出现的问题，原因。3，因为个人精力有限，后期只回复重复性高的，或比较特殊的问题。

用知识库提问是有技巧的,你是让他整理，还是推导，还是检索。这个提示词就很关键。提示词用不好会出现：ima内部设置了一些提示词，当问题文档未提及时应拒答。万能提示词结构基于知识库里的___帮我___用于__

群友一直希望我做一个dify的教程，我把去年的dify铲了，重新安装了一遍。同时以前的文章提问，以及群友的问题，我先做一个知识科普，不感兴趣的可以绕过这块。

1，不带推理功能的大模型真是差强人意2，后续研究下元器里的工作流，使用调用api的方式使用满血DeepSeek-R1模型3，后续把解决的所有问题都放入到问题库里。创作不易，辛苦大家动动发财的小手。if 文章有用:关注() # 🔔 追更最新内容else:留言吐槽() # 💬 评论区等你来战。

最近在群里有不少人反馈，ollama安装deepseek特别慢，或者多次中断、或者下载不下来。有的是想在内网环境安装，没有网络，我研究了下解决方案。

DeepSeek+本地知识库：真的太香了