Alex的博客

本文对比介绍了vLLM和Ollama两种大模型部署工具。vLLM是高性能推理框架，适合企业级API服务，需Python/CUDA环境，支持多GPU并行；Ollama是轻量级本地工具，适合个人开发测试，安装简单。文章详细提供了两者的安装部署教程，包括环境准备、模型下载、参数配置等步骤，并列出常见问题解决方法。

LabelImg是一款开源的图像标注工具，支持PASCAL VOC和COCO数据集格式。安装可通过下载免安装版或pip命令完成。使用时需注意快捷键操作（如W画框、D切换图片）和标注格式转换问题。常见错误如TypeError可通过修改canvas.py文件中的浮点数转换解决。该工具简单易用，适合目标检测任务的图像标注工作。本文主要介绍labeling的安装与使用教程以及过程中遇到的问题。

本文介绍了一种基于YOLOv8的工业视觉检测方案，文章对比了多模态大模型与轻量级小模型的适用性，最终选择YOLOv8作为解决方案，详细阐述了从数据收集标注、模型训练到部署应用的全流程。方案采用500-1000张多样化场景图片进行训练，通过迁移学习微调预训练模型，实现了高效准确的工业质检功能。文章还提供了完整的数据处理脚本、训练代码和Flask接口封装方法，特别强调了工业场景下数据多样性和模型轻量化的重要性。该方案具有成本低、部署快、准确率高等特点，

接上篇，上篇分析了常用的Agent框架，本文围绕Qwen-Agent，从环境准备到demo实现以及遇到的问题解决方案，实现对框架的初步使用。Qwen-Agent是一个开发框架。开发者可基于本框架开发Agent应用，充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。本框架也提供了浏览器助手、代码解释器、自定义助手等示例应用。或者，你可以从源码安装最新的开发版本：2. 模型使用模型可以使用自己的本地部署，也可以使用远程API概述：下面的示例说明了创建一个能够读取

Dify是一款开源的大语言模型(LLM)应用开发平台，结合后端即服务和LLMOps理念，帮助开发者快速构建生成式AI应用。本文介绍Dify，并详细的介绍了dify的本地化安装部署。

本文探讨了Java实现流式输出的多种方案，重点介绍了基于SSE规范的实现方式。通过对比Servlet原生API、ResponseBodyEmitter、WebFlux等技术，最终选择SSE方案以适应已采用SSE规范的前后端适配场景。文章详细解析了SSE协议格式、客户端API及适用场景，并提供了WebClient的配置方法、Service层实现和Controller示例代码。针对文件上传+SSE流响应的场景，特别说明了consumes和produces参数的配置要点。方案选择上推荐使用WebClient而非O

Agent智能体是人工智能领域中的一个重要概念，指的是具有智能的实体，能够感知环境、做出决策并采取行动。关键特性感知能力：Agent能够理解环境，包括语言交互、处理和解释来自不同感官的信息（如视觉、听觉、触觉等）。推理能力：Agent具备推理能力，能够进行复杂的逻辑推理，如在大语言模型（LLM）的帮助下，其表现得到了显著提升。行动能力：Agent能够通过语言输出参与社会交流，如谈判、冲突解决或教学活动，同时也能通过物理层面的交互执行具体的物理操作。

项目中遇到各种数据资源想要加载近langchain构建本地知识ai系统，怎么加载对应的文件格式呢，一起研究下。

LLM的火爆程度不用多说，如果想深入理解大语言模型（LLM），一些必要的论文还是要读的。以下是汇总的LLM大语言模型学习资料网站（Git、Gitee、模型社区等）

在ChatGPT或类似的人工智能聊天模型中，。此外，还有一个常见的角色是Assistant（助手角色），它通常是基于机器学习技术的AI，负责与用户进行交互，回答问题，提供服务，并根据用户的输入不断学习和改进。总的来说，了解这些角色的作用可以帮助用户更有效地与AI聊天模型进行交流，并且可以根据需要定制System角色以获得更加个性化的对话体验。

​2023年7月，GitHub上有一个利用langchain思想实现的基于本地知识库的问答应用：langchain-ChatGLM (这是其GitHub地址，当然还有和它类似的但现已支持Vicuna-13b的项目，比如LangChain-ChatGLM-Webui)，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案

过去半年，随着ChatGPT的火爆，直接带火了整个LLM这个方向，然LLM毕竟更多是基于过去的经验数据预训练而来，没法获取最新的知识，以及各企业私有的知识为了获取最新的知识，ChatGPT plus版集成了bing搜索的功能，有的模型则会调用一个定位于 “链接各种AI模型、工具”的langchain的bing功能为了处理企业私有的知识，要么基于开源模型微调，要么更可以基于langchain里集成的向量数据库和LLM搭建本地知识库问答(此处的向量数据库的独特性在哪呢？

RAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG 基本上是 Search + LLM 提示，可以通过大模型回答查询，并将搜索算法所找到的信息作为大模型的上下文。查询和检索到的上下文都会被注入到发送到 LLM 的提示语中。嵌入式搜索引擎可以通过 Faiss 来实现，向量搜索领域成为了RAG的一个助力。像pinecone 这样的向量数据库可以构建开源搜索索引，为输入文本增加了额外的存储空间，还增加了一些其他工具。关于向量数据库，可以参考解读向量数据库。

对于知识库问答，现在有两种方案，一种基于llamaindex，一种基于langchain +LLM,我们目前采用的就是后者，先来看一下这个方式的技术架构图：使用 LangChain 或 LlamaIndex 等框架，可以使用大约五行代码就构建一个简单的问答系统，例如文档的聊天机器人。但是，用这五行代码构建的机器人效果就可能差强人意了。接下来我们说一下如何从理论上来提高LLM的问答效果。