xiaojunjun200211的博客

摘要： 本文介绍了如何基于Model Context Protocol (MCP) 构建AI应用，实现LLM与外部数据源的标准化交互。首先配置云端容器环境并部署vLLM服务（Qwen2.5-72B模型），接着通过fastmcp库将模拟的金融数据（CSV格式）封装为MCP工具。最后在Dify平台集成该工具，形成完整工作流，使LLM能够按需查询金融数据并以Markdown表格返回结果。实验展示了MCP协议在简化模型-工具连接中的作用，为复杂AI应用开发提供标准化接口方案。

Wan2.1，是阿里云开源的一款AI视频生成大模型，支持文生视频和图生视频任务，具备强大的视觉生成能力。无论是复杂的运动生成，还是物理规律的精准模拟，Wan2.1都能轻松应对。14B参数的专业版Wan2.1模型在Vbench评测中以86.22%的成绩超越Sora、Luma等国内外模型，稳居榜首。1.3B参数的极速版则能在消费级显卡上运行，显存需求低，适合二次开发和学术研究。

Qwen 系列大型语言模型的最新成员。我们的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。此外，小型 MoE 模型 Qwen3-30B-A3B 的激活参数数量是 QwQ-32B 的 10%，表现更胜一筹，甚至像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。

ComfyUI 是一个为 Stable Diffusion 专门设计的基于节点的图形用户界面（GUI）。它使用户能够通过链接不同的块（称为节点）来构建复杂的图像生成工作流程。这些节点可以包括各种任务，如加载检查点模型、输入提示、指定采样器等。ComfyUI 提供了极高的自由度和灵活性，支持高度的定制化和工作流复用，同时对系统配置的要求较低，并且能够加快原始图像的生成速度。然而，由于它拥有众多的插件节点，以及较为复杂的操作流程，学习起来相对困难。

OpenAI 发布 GPT-4V 与 Gemini 1.5-Pro，Google DeepMind 推出 Flamingo 和 Gemini 系列，多模态技术逐渐成为 AI 实用化的关键路径。但多模态大模型往往意味着参数暴增、推理开销剧增、无法实时响应等现实问题。如何构建“轻量化、全模态、强泛化、可部署”的 AI 系统。在这样的背景下，阿里通义团队开源发布的 Qwen2.5-Omni-7B，无疑是一次重量级突破。

本章主要讲解如何用paas平台，实现智能体应用本章中大模型我们使用deepseek-R1-14B,当然QwQ也是可以使用的，根据您需要选择合适得模型智能体应用平台，直接调用dify，当然可以直接通过Github裸金属私有化部署也是ok得今日目标：用dify搭建一个workflow【上传文档->自动总结文档】

本章节将使用xinference启动 LLM+检索模型服务，然后使用Langchain-chatchat接收模型服务api，并录入知识库，实现本地知识库部署。

DeepSeek-R1拥有卓越的性能，在数学、代码和推理任务上可与OpenAI o1媲美。其采用的大规模强化学习技术，仅需少量标注数据即可显著提升模型性能，为大模型训练提供了新思路。此外，DeepSeek-R1构建了智能训练场，通过动态生成题目和实时验证解题过程等方式，提升模型推理能力。该模型完全开源，采用MIT许可协议，并开源了多个小型模型，进一步降低了AI应用门槛，赋能开源社区发展。

MagicMind是面向寒武纪MLU的推理加速引擎。MagicMind能将人工智能框架（TensorFlow、PyTorch、Caffe与ONNX等）训练好的算法模型转换成MagicMind统一计算图表示，并提供端到端的模型优化、代码生成以及推理业务部署能力。MagicMind 致力于为用户提供高性能、灵活、易用的编程接口以及配套工具，让用户能够专注于推理业务开发和部署本身，而无需过多关注底层硬件细节。

FLUX模型是由Black Forest Labs推出的一款文本生成图像的AI模型，具有120亿参数，显著提升了图像生成的质量和多样性‌。FLUX模型包含三个版本：FLUX.1 pro、FLUX.1 dev和FLUX.1 schnell，分别针对不同的使用场景和需求。‌‌FLUX.1 pro‌：这是FLUX的最强版本，专为商业用途设计，提供最先进的图像生成性能，包括顶级的提示词遵循、视觉质量和输出多样性。它是一个闭源模型，需要通过API获取访问权限。

本篇文章，讲述如果在智算平台上完成分布式训练主流程顺序如下：1.先制作一台可训练的镜像2.保存单台镜像3.制作多机脚本4.完成分布式训练需要注意：1.要挂载存储卷2.要保持多机免密3.要保证训练时多机环境一致。

SAM 2可以分割以前从未遇到过的物体，表现出强大的零样本泛化能力。它在17个零样本视频数据集的交互式视频分割方面明显优于以前的方法，并且需要的人工交互大约减少三倍。SAM 2在其23个数据集的零样本基准测试套件上优于SAM，同时速度快 6倍。与之前最先进的模型相比，SAM 2在现有的视频对象分割基准测试（DAVIS、MOSE、LVOS、YouTube-VOS）方面表现出色。模型实现了实时推理速度，每秒处理大约44帧。这使得SAM 2适用于需要即时反馈的应用，例如视频编辑和增强现实。

Stable Diffusion 3各版本模型在以下多个方面表现出色：可定制性：轻松微调模型以满足特定创作需求，或根据定制的工作流程构建应用程序。高效性能：经过优化，均可在标准消费级硬件上运行。多样化输出：无需大量提示，即可创建代表全世界的图像，而不仅仅是一种肤色和特征的人。风格多样：能够生成各种风格和美感的图片，如 3D、摄影、绘画、线条艺术以及几乎任何可以想象到的视觉风格。

Xorbits Inference（Xinference）是一个功能强大、用途广泛的库，旨在为语言、语音识别和多模态模型提供服务。借助Xorbits Inference，您只需使用一个命令即可轻松部署和维护您的或最先进的内置模型。无论您是研究人员、开发人员还是数据科学家，Xorbits Inference都能让您充分发挥尖端人工智能模型的潜力。主要特点：简化模型服务：简化服务大型语言、语音识别和多模态模型的过程。您可以使用单个命令设置和部署用于实验和生产的模型。

Llama 3.2-Vision多模态大型语言模型（LLM）集合是11B和90B大小（文本+图像输入/文本输出）的预训练和指令调优图像推理生成模型的集合。Llama 3.2-Vision指令调优模型针对视觉识别、图像推理、字幕和回答有关图像的一般问题进行了优化。在常见的行业基准上，这些模型的表现优于许多可用的开源和封闭式多模式模型。

Qwen2-VL-Chat 是由阿里巴巴开发的多模态大语言模型，它是 Qwen2-VL 系列的一部分，专门设计用于处理图像和文本的联合输入与输出。这个模型能够在视觉与语言任务中表现出色，比如图像描述、视觉问答、图像中的文字识别等。它的多模态能力使其能够理解并生成与图片和文本相关的复杂回答，甚至支持多轮对话和多图像比较​(Qwen2-VL-Chat 的特点包括：多图像输入：支持同时处理多张图片，并能够根据用户的提示进行比对和回答。

本章主要操作以yolov8为主，但是yolov10用该操作也能直接适用，开干！

370跑cogvideo

在国产芯片运行GLM4-9B

本期我们采用魔塔的swift来完成qwen1.5-7b-chat的训练,除一些环境安装需要转换，其他的与N卡训练操作一致。

模型默认采用魔塔路径下载，这里不做模型下载教学。驱动选择：5.10.22及以上。镜像选择：pytorch2.1。MLU体验感拉满了简直。

MLU370运行llama3-8b

修改cogvlm-chat/visual.py 【因为xformers适配状态中，我们将attention计算方式使用pytorch实现】修改basic_demo/cli_demo_hf.py代码【将default改成自己的绝对路径】参考https://www.zhihu.com/question/602057035。将下载后的模型拷贝到存储卷中，方便后续改绝对路径使用。启动会有点慢但是不会影响到后面的使用。pip install 即可。下载社区github代码。下期见byebye!

在往后得部署手册中，即会讲到如何部署，也会讲到如何跑通,用370的可以跟着搞，不用370的也可以看下如何部署，在GPU也是通用的。

前几篇讲到了有关大模型在寒武纪卡上推理，是不是觉得越来越简单了，接下来上干活知识，基于寒武纪卡完成大模型微调，以及后面还会讲到基于寒武纪卡完成数字人训练+推理，敬请期待。废话不多说，我们现在开始目前Mlu能跑几乎很多算法，下一期来一期数字人推理+数字人训练吧。

通义千问-7B（Qwen-7B） 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特点包括：1 大规模高质量预训练数据：我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。