space01的专栏

当前是基于Jetson实现的，并没有在dGPU上部署的说明。为此， 参考上述的项目实现了在dGPU的NanoDB的部署，如T4。下面是具体的部署过程。整个部署使用docker实现，因为涉及依赖库较多，普通的物理机部署较为复杂。

为了能够实现整个搭建过程，首先需要准备大模型服务，并且使用本地部署大模型实现本地的编码助手。

如果编译llama.cpp的测试工具main，在llama.cpp目录执行make -j，会在当前目录生成main文件。1> 将qwen的huggingface safetensors转为llama.cpp的二进制文件。若重新生成，需先删除之前的converted.bin，否则报错。2> 测试转换的模型是否能正常运行。安装llama.cpp依赖。

启动、关闭ollama。

LLaVA 的早期实验表明，它展示出令人印象深刻的多模型聊天能力，有时会表现出多模型 GPT-4 在未见过的图像/指令上的行为，并在合成多模型指令遵循数据集上获得与 GPT-4 相比 85.1% 的相对分数。总之，LLaVA 的主要功能和特点是通过使用机器生成的指令遵循数据对大型语言模型进行指令调整，以提高新任务的零射击能力，并在多模态领域展示出令人印象深刻的聊天能力。设置为较低的值时，预测词的概率会变尖锐，这意味着选择最有可能的词的概率更高。可以分析图像，描述图像，进行物体识别，分析理解场景。

（5）inpainting：通过结合Grounding DINO + Segment Anything + Stable Diffusion实现文本交换并替换目标对象（需要指定文本提示和inpaint提示）。（6）automatic：通过结合BLIP + Grounding DINO + Segment Anything实现非交互式检测+分割（无需指定提示）。（4）seg：通过结合Grounding DINO和Segment Anything实现文本交互，实现检测+分割（需要指定文本提示）。

之前已经。但是随着智能体的发展，基于智能体构建知识库问答系统逐渐成为主流。下面就以多智能体框架AutoGen、托管大型语言模型的平台Ollama、模型选择和切换工具Litellm为基础构建一个多智能体的知识库问答系统。同时搭建一个多智能体对话系统。

知识库需求在各行各业中普遍存在，例如制造业中历史故障知识库、游戏社区平台的内容知识库、电商的商品推荐知识库和医疗健康领域的挂号推荐知识库系统等。传统知识库搜索系统基于关键字匹配，缺少对用户问题理解和答案二次处理能力。为保证推荐系统的实效性和准确性，需要大量的数据/算法/软件工程师的人力投入和包括硬件在内的物力投入。其次，为了进一步提高搜索准确率，如何引导用户搜索描述更加准确和充分利用用户行为优化搜索引擎也是常见的用户痛点。此外，如何根据企业知识库直接给出用户提问的答案也是众多企业中会遇见的技术瓶颈。