weixin_42357472的博客

本文展示了一个基于FastAPI的异步流式AI代理服务实现。代码通过集成OpenAILike模型和MultiMCPTools工具，创建了一个支持流式响应的API端点。服务启动后，客户端可以通过POST请求发送文本查询（如"明天广州去重庆的高铁票"），服务端会实时流式返回处理结果。该实现采用了异步生成器模式，使用StreamingResponse实现数据分块传输，并通过MCP工具支持多路并发处理。请求示例展示了如何通过Python requests库以流式方式获取响应数据。

本文介绍了如何使用Agno框架快速构建基于FastAPI的AI代理服务。首先通过OpenAILike类配置大模型服务（示例使用阿里云Qwen），然后创建Agent实例并设置相关参数（如历史消息处理、Markdown支持等）。接着初始化FastAPIApp，将Agent集成到FastAPI应用中，支持同步/异步路由。最后通过curl命令演示了如何调用该服务，发送消息获取AI响应。整个过程展示了Agno框架简化AI服务开发的便捷性，仅需少量代码即可部署功能完备的智能对话接口。

本文介绍了如何通过摩搭社区(MCP)获取免费服务资源，并演示了两个实际应用案例。首先提供了MCP服务获取地址和网络搜索工具的调用方法，展示了通过Python代码接入MCP服务的完整流程。其次以12306火车票查询为例，详细说明了MCP工具在票务查询中的实现方式。两个案例均包含完整的代码示例和运行结果截图，展示了从服务连接到实际查询的全过程。文章为开发者提供了利用MCP服务快速构建智能应用的实用指南。

Agno是一个多智能体协作框架，支持通过Python快速构建专业AI团队。该库提供两种使用模式：英文和中文案例，均基于通义千问(Qwen)模型。通过安装pip install -U agno即可使用。框架支持创建不同角色的Agent（如网络搜索、金融分析），并集成DuckDuckGo搜索、YFinance金融数据等工具。团队协作模式可生成包含来源和表格数据的结构化报告，适用于市场分析、投资研究等场景。中文案例展示了分析阿里巴巴投资情况的功能，输出包含详细数据表格和来源引用。

Dify 1.6版本发布，支持创建MCP工具和服务器。用户可通过摩搭平台Host Server应用创建MCP工具（含图表功能），并开发智能体应用集成MCP服务。操作步骤包括：1)在工具MCP中配置图表功能；2)创建智能体应用时选择MCP工具；3)设置API参数完成集成。该版本增强了工具集成能力，为开发者提供更灵活的AI应用构建方案。

《使用GRPO训练自主推理模型教程》介绍了基于Unsloth平台训练Qwen3(4B)模型的完整流程。教程使用open-r1/DAPO-Math-17k-Processed数据集（14,116条），在Colab环境中通过GRPO方法进行3小时训练。文章包含详细的操作截图，展示了模型训练界面、参数设置和进度监控等内容。配套的Colab笔记本提供了可直接运行的代码，方便用户复现整个过程。该教程为开发者提供了使用强化学习技术训练自有推理模型的实践指南，特别适合希望在有限算力条件下进行模型优化的研究人员。

FastAPI-MCP工具集成与测试指南 本文展示了如何在FastAPI应用中集成MCP(Meta Control Protocol)服务器，并测试工具功能。通过示例代码演示了初始安装、MCP服务器挂载和端点注册流程。关键步骤包括：初始化FastApiMCP实例、mount()方法挂载服务器、setup_server()注册新端点。运行服务后可通过CherryStudio进行远程SSE访问和工具测试。特别提示，新增端点需调用setup_server()才能暴露为工具，示例中展示了如何验证新注册的端点功能。

字节跳动Seed团队推出BAGEL-7B-MoT多模态模型，具备7B参数规模，支持图像理解与文本生成。月之暗面同时发布Kimi-VL-A3B-Thinking视觉语言模型，专注于多模态推理能力。两款模型均在HuggingFace平台开放体验，展示了当前多模态AI在图像文本交互领域的最新进展。

摘要：本文介绍了Qwen2.5-Omni多模态大模型的部署和使用方法。首先通过ModelScope下载AWQ量化版本模型，然后使用vLLM框架进行服务部署。文章详细展示了四种调用方式：纯文本对话、图文混合交互、音频理解和视频内容分析。调用示例包含基于OpenAI API格式的完整代码实现，支持文本、音频、图片和视频等多种输入模态。特别说明需设置stream=True参数，并提供了针对不同输入类型的参数配置方法，如音频输出的语音选择和格式设置。

该摘要描述了一个基于FastMCP框架实现的机票/火车/酒店查询服务系统，主要使用Qwen3百炼平台作为大模型引擎。系统包含服务端和客户端两部分：服务端(server.py)实现了城市地址数据加载、日期转换等功能，处理酒店预订和票务查询的日期逻辑转换；客户端(client.py)提供用户交互界面。系统支持思考模式的大模型交互，可用于多种出行场景的智能查询服务。核心功能包括：1)地址编码映射加载；2)多场景日期转换处理；3)基于FastMCP的微服务通信架构。

本文展示了使用OpenAI API调用两种AI模型的方法。第一段代码通过设置stream=True实现流式响应，调用qwen3-235b-a22b模型获取北京一日游推荐，并处理可能包含的推理内容(reasoning_content)。第二段代码调用deepseek-reasoner模型进行简单数学运算，同样采用流式处理方式。两段代码都演示了如何安全处理API响应中的choices数组，以及如何分别获取并输出模型生成的内容和推理过程。通过base_url参数可以指定不同的API端点，适用于不同AI服务提供商。

支持直接下载：Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署。

参考MCP 自定义python实现server服务：https://blog.youkuaiyun.com/weixin_42357472/article/details/147624899。

参考：其他百炼、mcp服务网址支持链接访问。智能体mcp服务

参考：WPS软件上的表格分析阿里mcp：https://developer.aliyun.com/article/1661198 （搜索加可视化）

参考：https://deepseek.youkuaiyun.com/67f1e1afeb072863e39c011d.htmlMCP服务端应用创建一个python文件，命名为math_server.pyMCP客户端创建一个python文件，命名为math_client.py运行使用先运行math_server.py，再运行math_client.py，进行AI对话,观察日志输出结果，确定是否调用了自定义的MCP Server服务

参考：OpenAI Agents SDK 官方支持mcp协议。

参考：https://www.cnblogs.com/ryanzheng/p/18781666https://www.cnblogs.com/mingupupu/p/18745928https://github.com/modelcontextprotocol/python-sdkserver_test.py用上mcp.run()就可以python运行windows配置

1、windows 遇到：Connect MCP Servers error"spawn npx enoent" 错误。MCP是一种协议，cline、claude等相当于客服端，调用mcp相关服务器应用（各种智能体工具）参考：https://github.com/cline/cline/issues/1948。MCP客服端（cline）相当于浏览器，MCP服务器（各种智能体工具）相当于独立网站应用。vscode 下载插件安装cline。cline市场查看安装mcp服务器。首先设置cline模型底座。

参考：支持语言与声音：https://huggingface.co/hexgrad/Kokoro-82M/blob/main/VOICES.md1.0版本z中文f女生m男生。

语音和图像分别作为独立的lora，然后MOE形式可以选择走具体路线。结合了MOE框架实现。

有1.3和14B两个模型大小，1.3B只要10G显存既可以运行。

在线demo：用的colab t4卡免费。

参考：主要就是sys参数。

参考：https://github.com/huggingface/smolagentstransformers-4.47.1 升级到版本解决（错误：ImportError: cannot import name ‘define_import_structure’ from ‘transformers.utils.import_utils’）使用：使用第三方deepseek模型，注意litellm使用接口参数（deepseek/deepseek-chat全称）：https://docs.litell

参考：https://github.com/RhapsodyAILab/MiniCPM-V-Embedding （类似clip模型）其他多模态向量模型：ColPali （ocr free模型）感觉效果比MiniCPM-V-Embedding好点。

方案：MiniCPM-V-Embedding 作为向量模型MiniCPM-V 多模态大模型。

【代码】edge_tts 实现实时流式语音播放输出。

参考：https://blog.youkuaiyun.com/weixin_42357472/article/details/137020794。asr：funasr-SenseVoiceSmall 离线。llm：deepseek 在线api。tts：edge-tts 在线api。

context_recall：是否检索到了回答问题所需的所有相关信息，提供的回答正确地解决了问题并与真实情况一致，表明上下文精度和召回率很高。faithfulness：生成答案的事实准确性，得分为 0.75，表明尽管答案大部分是准确的，但可能存在细微的不完整之处。answer_relevancy：生成答案与问题的相关性。相关性得分非常高（0.995013），表明答案与问题高度相关。context_precision：检索到的上下文的准确度。用的langchain，使用的deepseek模型。

【代码】KWS实时语音唤醒词实现funasr。

参看：ClearVoice 提供了一个统一的推理平台，用于语音增强、语音分离以及视听目标说话人提取。代码参看：声音降噪加强支持16k 48k采样。

参考：https://docs.vllm.ai/en/latest/usage/structured_outputs.html。参考：https://ollama.com/blog/structured-outputs。用的Qwen/Qwen2.5-3B-Instruct模型。

有时候多轮进行上下文关联变弱，比如前面问北京的天气，后面问广州的呢，可能前面大模型回答内容过多一起上下文给到会导致后面多轮识别产生错误。解决方法：可以把用户问题单独取出来做处理，根据前面问题通过大模型prompt形式改写当前问题。

参考：Xinference，一款 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理工具，类比ollama、vllm；但他支持语音、文字、图像、视频模型等推理。

按自己显卡cuda版本安装。T4卡15G显卡训练。

测试T4 15G显存可以使用，图像描述理解显卡需求相对较少，图像生成大概8-10G左右，但是生成时间比较久3-5分钟。

【代码】qwen2.5 ollama推理；openai function call调用中文离线agents使用。

参看：https://github.com/langgenius/dify下载安装：https://docs.dify.ai/getting-started/install-self-hosted/docker-compose首先访问先设置帐号密码web访问1、模型配置右侧设置里https://docs.dify.ai/zh-hans/development/models-integration/ollama添加ollama报错，因为部署dify是容器里访问外面，解决方法：syste

参考：https://github.com/lyz1810/live2dSpeekindex.html增加后端asr、llm、tts的api服务backed.py项目运行打开页面