qq_20466211的博客

分析文本对话请求v1/chat/completions的参数结构含义。

分别使用聊天流和工作流进行数据分析结果的可视化，生成html文件。聊天流可以配置带记忆，这样就可以多次交互优化结果。

聊天助手、文本生成、工作流。

专家混合模型是属于LLM模型架构层面的概念。混合推理模型属于模型应用层面，在快速响应和复杂推理之间切换。一个智能体=多个工作流的组合，智能体可以拆解为多个子任务，而每个子任务可能是一个工作流。

苦于ollama本地运行嵌入模型十分缓慢的问题，分别介绍了通义千问和硅基流动提供的嵌入模型，同时实现了满足LangChain格式要求的自定义嵌入模型。

介绍了硅基流动中提供的免费模型，并使用python进行调试，然后创建文档，在dify中建立知识库，分别创建了聊天助手和聊天工作流，进行效果对比。

在ubuntu中通过docker安装RAGFlow，并使用一个文档测试效果。在RAG过程中，文件解析、Embedding 以及 LLM 是提升准确率的三大关键点。

Embedding技术在大型语言模型中发挥着至关重要的作用。它将文本转化为向量，使模型能够理解和处理复杂的语言信息。通过选择合适的Embedding方法和优化文本匹配策略，我们可以在搜索引擎、问答系统、推荐系统等领域实现高效且精准的文本匹配。

提供了创建工作流的三个示例：(1)带分支选择的工作流(2)网站SEO分析工具(3)文章链接抽取内容并提取摘要。

DeepSeek API使用与OpenAI兼容的API格式，通过修改配置，可以使用OpenAI SDK来访问DeepSeek API。开源的Deepseek服务有(1)国家超算中心(2)纳米AI搜索(3)硅基流动(4)英伟达。

知识蒸馏(Knowledge Distillation，简称KD)是由AI领域的三位大佬Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年提出的技术，旨在通过将复杂教师模型的知识迁移到较简单的学生模型中，使学生模型在保持高性能的同时，能够实现更小的模型规模和更快的推理速度。

通过添加提示词，工具，构建一个智能体，在提示词中告诉智能体工作流程，以及调用的工具，还有最终的输出文档格式要求。

在ubuntu系统中使用Docker和Docker Compose下载镜像并成功安装Dify，然后通过可视化的方式创建第一个中英文翻译的聊天助手。

并非所有模型都支持.with_structured_output()，因为并非所有模型都支持tool calling 工具调用或JSON模式。对于此类模型，需要直接使用提示词让模型使用特定格式，并使用输出解析器从原始的模型输出中提取结构化响应。

使用langchain封装的with_structured_output()方法，提取结构化数据。推荐使用Pydantic类(返回pydantic对象)或者TypedDict类(返回字典)，这两种方式。注意使用此方式一定要确保调用的大模型本身已经实现了结构化输出的API。

人工智能>机器学习>深度学习>大模型。怎么把模型做的更好更强大，预训练+指令微调。怎么用好大模型，零样本+少量样本+思维链构建提示词。‍‍‍‍

大模型优化的三个途径：蒸馏、微调、RAG。Token究竟是什么。大模型三种模式：Embedding、Copilot、Agent。大模型推理框架：vLLM和Ollama。

使用sqlite提供的样例数据库，基于langchain的SQLDatabase获取建表语句，然后使用大模型生成SQL语句后并结构化输出，调用工具执行SQL语句，并采用大模型整理返回的结果。总体来说效果还是可以的，受限于本地运行大模型的性能压力，运行速度较慢。

使用example selector 创建few shot prompt，该example selector根据用户输入动态构建few shot prompt。通过在 prompt 中插入相关的query作为参考，可以帮助模型进行更好的查询。

(1)将英文表名，翻译为中文，输出中英文的对照关系。(2)根据问题查找使用的表。(3)将表，建表语句，组合成提示词，并使用结构化输出。此种方法可以减少token的量，从而加速运行。

使用FewShotPromptTemplate，它是一个复杂的提示模板，它包含多个示例和一个提示。这种模板可以使用多个示例来指导模型生成对应的输出。使用FewShotPromptTemplate类来创建使用少量样本示例的提示模板，此类要么接受一组示例，要么接受一个ExampleSelector对象。

SQLTools使智能体能够运行SQL查询并与数据库交互。与LangGraph相比，Agno的封装更彻底，开发速度快，但调优门槛较高，执行和响应速度很慢。

(1)提供待分块的命题列表(2)调用add_propositions添加命题列表(3)遍历命题列表，调用add_proposition添加单个命题(4)判断是否为第一个块：如果是，调用_create_new_chunk创建新块。如果否，调用_find_relevant_chunk查找相关的块。若查到相关的块，则调用add_proposition_to_chunk添加到对应的块。若未查到相关的块，则调用_create_new_chunk创建新块。

Agentic Chunking的核心思想是让大语言模型（LLM）主动评估每一句话，并将其分配到最合适的文本块中。与传统的分块方法不同，Agentic Chunking不依赖于固定的token长度或语义变化，而是通过LLM的智能判断，将文档中相隔较远但主题相关的句子归入同一组。

模拟获取数据，然后生成绘图的代码，最后调用python执行器。

使用langgraph框架构建一个带有条件分支的智能问答系统。创建一个能够从网页文档中提取信息并选择是否使用提取信息来回答用户问题的AI助手。

(1)针对这种工具简介类的文档，文档切分的粒度小一些，一个工具对应一个文档即可。(2)向量检索返回的文档数量要加大，因为是小文档，多输出一些效果会比较好。(3)选择合适的嵌入模型，这个很重要，否则模型在错误的提示信息上会越走越远。(4)选择合适的大模型，归纳总结推理的能力很重要。

使用langgraph构建一个智能文档检索系统。该系统能够从网页中提取信息，进行智能分段，并通过查询分析、向量检索实现精准的问答功能。

使用LangChain和LangGraph构建一个智能的SQL查询助手。这个助手能够将自然语言问题转换为SQL查询，执行查询，并提供人性化的答案。更重要的是，它支持人机协同工作流程，让用户可以在关键步骤进行干预。

使用面向过程编程和面向对象编程的两种方式开发系统，同时又对比了裁剪历史信息和不裁剪历史信息的结果。

这个Agno可能是今年最值得关注的AI开发框架，一个用于构建多模态智能体的轻量级库。0 级：没有工具的智能体(基本推理任务)。1 级：拥有自主任务执行工具的智能体。2 级：拥有知识的智能体，结合记忆和推理。3 级：在复杂工作流程上协作的智能体团队。

真正实现RAG管道中从足够多的片段中检索到最为相关的TopK个片段：(1)调小Chunk Size；(2)调大TopK检索召回片段数；(3)不要点Pin图钉。

您的 LLM 在提问时如何或为什么不使用您的文档。幸运的是，实际上解决起来很简单！这些方法不仅仅只适用于AnythingLLM。

使用自定义图和预定义图这两种方式，将大模型与联网搜索工具结合使用，同时将构建好的图可视化显示出来。

通过使用LangGraph图形的get_state_history方法获取检查点来回溯图形，可以在前一个时间点恢复执行。

使用LangGraph，在状态中填充状态键，在不依赖消息列表的情况下定义复杂的行为，添加额外的字段。

使用LangGraph，给聊天机器人添加记忆，并添加Human_in_the_loop加入人工干预功能。

使用LangGraph，分别采用自定义工具节点的方式和内置工具节点的方式构建聊天机器人。

使用LangGraph采用自定义方式创建一个简单的聊天机器人，然后使用工具增强聊天机器人。

人工智能和深度学习的历史以重大进步和变革性创新为标志。从早期的神经网络到复杂的架构，如卷积神经网络（CNN）、循环神经网络（RNN）、Transformer和扩散模型，该领域已经彻底改变了各个领域。