Toby的博客

最近需要把hermes开源框架迁移到自己部门的业务场景中。这个项目对我来说很新颖，给了我一次近距离上手做后端开发的机会。这对我是完全陌生的领域。有很多概念是之前做算法开发、数据开发完全接触不到的层面。这次换团队接触不同的业务，做不同的岗位，真的很扩大个人认知视野。

让AI帮你在本机安装langfuse

多Agent 模式深度解析

多Agent智能体协作方法

这套角色扮演对话系统本质上是一个以图状态机为驱动核心、以流式计算为表现形式的现代分布式智能体平台。通过将计算逻辑（FastAPI）、记忆状态（Redis）以及能力市场（懒加载引擎）进行彻底的三层解耦，系统不仅保证了大模型在“千人千面”角色拟真度上的极致灵活性，更为企业高并发应用提供了坚不可摧的安全隔离性、网络容错率与内存弹力，是现代 AI Agent 向生产环境演进的标准范式。

90% 企业直接选：FastAPI✅ 接口文档自动生成✅ 类型安全、易维护✅ 生态最完善、招聘成本最低✅ 云原生、Docker/K8s 友好最推荐：通用后端、微服务、API 服务、中台FastAPI：现代异步 API 框架王者，企业微服务 / REST API 首选Tornado：老牌高性能异步框架，长连接、WebSocket、实时推送专用FastAPI：现代、高效、生态强 →90% 企业新场景首选Tornado：稳定、长连接强 →实时推送 / 长连接专用下面给你完全可运行普通 GET 接口。

做简单 / 批量 IO 并发（少量 vLLM 请求）：用threading（简单场景）、（批量场景）；做万级 + 高并发（高频 vLLM 请求）：用asyncio（底层协程），搭配TornadoFastAPI（Web 服务框架）；搭建可直接部署的 vLLM API 服务：优先选FastAPI（易用、适配性强）或（高并发 + 实时性）。框架/模块并发类型核心优势适用场景（你的技术栈）关键配置要点threading多线程内置、上手快，手动控制线程。

这里定义了两个参数校验模型，一个是输入参数校验模型 VllmInferenceRequest(BaseModel)，一个是输出参数校验模型VllmInferenceResponse(BaseModel)，避免无效请求（比如传入非字符串 prompt、负数 max_tokens）导致 vLLM 服务崩溃，同时让 API 接口更规范、更易维护。，同时自动完成数据解析与转换，常用来处理 API 请求参数、配置文件、模型输入输出等场景。是正整数，避免无效数据导致服务报错，让代码更健壮、更易维护。

底层都用 Tornado 做 API 服务器！

实现一个简易AI陪练对话Agent智能体

学员(User)：AA物流销售潘潘，风格专业、直接、以结果为导向。AI(Assistant)：刘海洋/刘总，45岁，海鲜礼盒/干品老板，务实谨慎、对成本敏感；当前痛点“线上顺丰成本高、线下邮政时效慢且偶有破损”，潜在需求“降本且保时效，并希望获得商流支持”。当前情绪：时间紧张、戒备推销；雷点：空泛宣传、回避成本/时效细节；爽点：尊重时间、先算清成本/时效对比。

使用LlaMaFactory零代码SFT微调Qwen3大模型的实践过程

Qwen2.5-VL视觉-语言模型做图片处理调研

CLIP图文匹配模型

Diffusion Models 的灵感来自non-equilibrium thermodynamics （非平衡热力学）。理论首先定义扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习，并且隐空间具有比较高的维度。总的来看，Diffusion Models 领域正处于一个百花齐放的状态，这个领域有一点像 GAN 刚提出来的时候，目前的训练技术让 Diffusion Models 直接跨越了 GAN 领

它们的区别在于合并子词的方式，基于BPE 的方法选择出现频次最高的连续字符进行合并，而基于语言模型的方法则是根据语言模型输出的概率选择要合并哪些子词。因为相互适应的神经元可以更好的描述训练数据中的现象，但是在测试数据上，由于很多现象是未见的，细微的扰动。所谓适定解，需要满足三个条件：解是存在的、解是唯一的、解是稳定的（即 y 微小的变化会导致 x 微小的变化，也被称作解连续）。常用的手段包括两种，一种是采用字词融合的方式构建词表，将未知单词转换为字符的序列并通过特殊的标记将其与普通的单词区分开来。

Transformer 模型仅仅使用自注意力机制和标准的前馈神经网络，完全不依赖任何循环单元或者卷积操作。很好地解决了单词间长距离依赖的问题。自注意力机制非常适合在 GPU 上进行并行化，因此模型训练的速度更快。

相比于全连接网络，卷积神经网络最大的特点在于具有局部连接（Locally Connected）和权值共享（Weight Sharing）的特性。

之后中间层会对词嵌入向量进行更深层的抽象，得到输入单词序列的中间表示。LSTM：seq2seq学习的方法，缓解了梯度消失/爆炸问题，通过遗忘门的设计让网络选择性的记忆信息，缓解了序列中长距离依赖的问题。对序列中某个位置的答案进行预测时需要记忆当前时刻之前的序列信息，这就是RNN网络诞生的背景。RNN处理序列问题的实例： 循环单元的输入由上一时刻的输出和当前时刻的输入组成。（2）句子的表示学习，即在词嵌入的基础上获取整个序列的表示。基于规则的-->基于实例的-->基于统计方法的-->基于神经网络的。

(3) 前缀解码器： 也称为非因果解码器架构，修正了因果解码器的掩码机制，使其能够对前缀标记执行双向注意力，并对生成的标记执行单向注意力。(4) 注意力机制和偏差： 原始的Transformer是全自注意力机制，GPT-3采用了稀疏注意力机制，即分解注意力，计算复杂度更低。- GPT -4模型API接口：gpt-4、gpt-4-0314、gpt-4-32k、gpt-4-32k-0314。如BERT、GPT-2。(2)基于启发式的方法: 基于语言的过滤、基于度量的过滤、基于统计的过滤、基于关键词的过滤。

在电商场景下需要对主商品进行审核、替换商品图背景等场景需求。就需要对商家提供的商品图进行抠图、替换背景等操作。当然有不少的第三方工具可供运营和产品使用，但都至少需要这样几个步骤，上传图片、选择抠图区域或边缘、等待抠图生成、下载抠图结果。且先不管商品图片涉及泄漏的问题，单是抠图效果如何也不是很好保证的。比如有这样一个商品图，我们希望抠出手机这个主商品，去掉背景色和背景物。期望得到的理想效果是这样：[这也是通过我们算法抠图后得到的一个效果图]比如这个抠图软件remove.bg，它抠完后的效果是这样的。