<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[xiaomu_347的博客]]></title><description><![CDATA[一只误入歧途的编程喵]]></description><link>https://blog.youkuaiyun.com/xiaomu_347</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xiaomu_347]]></copyright><item><title><![CDATA[大模型推理引擎开发]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/154726553</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/154726553</guid><author>xiaomu_347</author><pubDate>Wed, 12 Nov 2025 09:54:29 +0800</pubDate><description><![CDATA[离线推理：离线推理不需要启动server，首先初始化context，读取编译生成的engine模型，根据计算图和用户传参分配设备，然后初始化调度器，管理输入的prompt，判断是否做prompt优化，runtime通过队列管理计算任务，分配与下发计算任务，runtime graph excutor组件输出模型推理结果。模型编译过程：首先通过parser模块获取模型参数和图结构等模型推理所需的全部静态信息，初步构建静态计算图，并传递给图编译模块进行图优化与算子融合形成runtime可执行的engine文件。]]></description><category></category></item><item><title><![CDATA[端侧大模型推理笔记]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/153266711</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/153266711</guid><author>xiaomu_347</author><pubDate>Tue, 14 Oct 2025 17:06:39 +0800</pubDate><description><![CDATA[​大模型推理优化学习]]></description><category></category></item><item><title><![CDATA[webhook使用]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/151226274</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/151226274</guid><author>xiaomu_347</author><pubDate>Fri, 05 Sep 2025 17:03:44 +0800</pubDate><description><![CDATA[Webhook 本质是服务端事件的回调通知。它让系统之间实现实时联动，而不是定时轮询。用途广泛：支付回调、自动化部署、消息通知、数据同步等。要不要我给你一个完整的案例（比如 GitHub push → 自动部署代码）来展示 webhook 的实际用法？]]></description><category></category></item><item><title><![CDATA[ Thor芯片部署]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/150954324</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/150954324</guid><author>xiaomu_347</author><pubDate>Thu, 28 Aug 2025 16:12:04 +0800</pubDate><description><![CDATA[英伟达Jetson Thor芯片性能分析与应用现状 摘要：英伟达最新发布的Jetson Thor芯片基于Blackwell架构，官方宣称AI算力达2070TFLOPS（FP4），较前代Orin提升7.5倍，配备14核Arm CPU和128GB内存。然而实际量产版算力缩水至700TOPS，且因4nm制程良率问题多次延期至2025-2026年交付。该芯片支持FP4/FP8量化、Transformer引擎等先进特性，适用于自动驾驶、机器人等边缘AI场景，但受供应链限制，国内厂商倾向自研方案。开发者可通过JetPa]]></description><category></category></item><item><title><![CDATA[手把手教你如何写一个自己的mcp 服务]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/150274979</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/150274979</guid><author>xiaomu_347</author><pubDate>Tue, 12 Aug 2025 16:45:31 +0800</pubDate><description><![CDATA[它封装了 MCP 协议的细节，使开发者可以通过 Python 装饰器，专注于工具（Tools）、资源（Resources）及提示（Prompts）的业务逻辑设计，而无需处理底层协议、内容类型与错误处理等复杂工作。- 新建项目文件夹，执行`uv init --package`初始化为Python包，并通过`uv add mcp-cli`引入MCP SDK。- 推荐使用`UV`管理Python环境，通过`uv python list`查看可用版本并安装所需Python解释器。"即可，整体配置显示如下，]]></description><category></category></item><item><title><![CDATA[ python之注册机制总结]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/150071125</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/150071125</guid><author>xiaomu_347</author><pubDate>Fri, 08 Aug 2025 22:50:01 +0800</pubDate><description><![CDATA[注册方式跨包发现插件卸载动态添加适合场景✅❌❌第三方插件、打包发布自定义注册器（dict）❌✅✅简单插件、本地扩展动态导入 + 装饰器✅✅✅本地插件系统pluggy✅✅✅大型可扩展架构ABC + 反射✅✅✅接口规范化元类注册✅✅✅框架内部插件依赖注入容器✅✅✅企业级服务架构。]]></description><category></category></item><item><title><![CDATA[深度学习loss总结（二）]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149854178</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149854178</guid><author>xiaomu_347</author><pubDate>Sat, 02 Aug 2025 10:06:07 +0800</pubDate><description><![CDATA[目标推荐 Loss 类型二分类 / 多分类框精度优化回归稳定性中心点预测方向预测Loss 名称优点适用场景简单稳定普通语义分割BCE二分类场景通用医学图像、背景分割Dice Loss对类别不平衡鲁棒小目标、医学图像IoU Loss对目标形状更敏感mIoU 优化任务Focal Loss聚焦难样本，类别不平衡小目标、复杂背景分割可调节 FP/FN 权重极小目标、前景稀疏直接优化 IoU精细语义分割任务优化轮廓器官边界、肿瘤轮廓任务类别。]]></description><category></category></item><item><title><![CDATA[常见小目标检测算法优化]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149833248</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149833248</guid><author>xiaomu_347</author><pubDate>Fri, 01 Aug 2025 14:25:25 +0800</pubDate><description><![CDATA[小目标检测方法]]></description><category></category></item><item><title><![CDATA[目标检测技术总结]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149746156</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149746156</guid><author>xiaomu_347</author><pubDate>Tue, 29 Jul 2025 14:18:13 +0800</pubDate><description><![CDATA[分类代表算法优势劣势Two-Stage高精度，适合复杂目标检测任务推理慢，结构复杂One-StageYOLO 系列, SSD, RetinaNet, FCOS推理速度快，部署方便对小目标和复杂场景略逊色混合/新范式精度高、无 Anchor、结构创新训练收敛慢、对硬件要求高Anchor（先验框）：是在人为设计的一组预定义大小/长宽比的矩形框，提前分布在特征图的每个位置，用来预测目标框的位置和大小。Anchor-based 检测器用这些框作为候选，与真实框进行匹配和回归。]]></description><category></category></item><item><title><![CDATA[YOLO目标检测总结]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149727380</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149727380</guid><author>xiaomu_347</author><pubDate>Mon, 28 Jul 2025 22:53:40 +0800</pubDate><description><![CDATA[方面优势结构清晰模块化 Backbone / Head / Loss / Aug易扩展YAML 配置 + 类似 Detectron2 的 Trainer支持多任务部署支持好一键导出 ONNX、TRT、NCNN文档齐全。]]></description><category></category></item><item><title><![CDATA[Fastbev模型学习笔记]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149632960</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149632960</guid><author>xiaomu_347</author><pubDate>Fri, 25 Jul 2025 10:57:31 +0800</pubDate><description><![CDATA[Fast-BEV 是在规则 BEV 网格上查表采样，生成稠密 BEV 表征；所以，Fast-BEV 的速度来自“结构化和查表”，但代价是强依赖标定精度。Fast-BEV 是为“高效生成 BEV 表征”而生的轻量感知框架，牺牲一部分极限精度换取 10x 以上的推理加速，非常适合车规中低功耗场景；总结一下，Fast-BEV 把图像特征到 BEV 空间的投影“查表化”，用规则化稀疏索引代替计算投影矩阵，并用简单聚合替代复杂 Transformer，从根本上解决了速度慢、算力高的问题。]]></description><category></category></item><item><title><![CDATA[LLM性能评测]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149631728</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149631728</guid><author>xiaomu_347</author><pubDate>Fri, 25 Jul 2025 10:21:16 +0800</pubDate><description><![CDATA[graph LR A[单元测试] --> B[组件测试] B --> C[端到端评估] C --> D[线上A/B测试]生产环境中建议结合业务需求设计加权评分卡（如 准确性×0.6 + 延迟×0.2 + 成本×0.2）。评估垂直领域LLM和RAG智能体的效果需采用不同的指标体系，二者核心差异在于。：模型是否内化了领域知识，并具备专业推理能力。答案与检索内容的事实对齐度（人工/LLM评分）问题所需知识是否在检索结果中（二值判断）：系统能否精准检索并有效利用外部知识。端到端响应时间（检索+生成）]]></description><category></category></item><item><title><![CDATA[解决chrome v2 版本插件不支持]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149331792</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149331792</guid><author>xiaomu_347</author><pubDate>Mon, 14 Jul 2025 15:41:31 +0800</pubDate><description><![CDATA[chrome v2版插件不支持]]></description><category></category></item><item><title><![CDATA[LLM模型中transformer的一些优化细节]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/149070652</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/149070652</guid><author>xiaomu_347</author><pubDate>Wed, 02 Jul 2025 15:47:36 +0800</pubDate><description><![CDATA[LLM 中针对transformer结构的优化细节]]></description><category></category></item><item><title><![CDATA[LLM部署之vllm vs deepspeed]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148769041</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148769041</guid><author>xiaomu_347</author><pubDate>Thu, 19 Jun 2025 16:16:41 +0800</pubDate><description><![CDATA[LLM 模型部署]]></description><category></category></item><item><title><![CDATA[分布式计算框架学习笔记]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148543311</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148543311</guid><author>xiaomu_347</author><pubDate>Mon, 09 Jun 2025 21:45:56 +0800</pubDate><description><![CDATA[分布式计算]]></description><category></category></item><item><title><![CDATA[模型部署范式总结]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148533468</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148533468</guid><author>xiaomu_347</author><pubDate>Mon, 09 Jun 2025 14:33:38 +0800</pubDate><description><![CDATA[深度学习模型部署范式总结]]></description><category></category></item><item><title><![CDATA[基于Linux系统docker封装exe]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148403938</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148403938</guid><author>xiaomu_347</author><pubDate>Tue, 03 Jun 2025 16:22:39 +0800</pubDate><description><![CDATA[方案适合情况操作复杂度依赖安装mingw-w64工具链编译 Windows.exe，简单 C/C++ 项目⭐ 最简单apt 安装权限使用宿主 Docker（挂载 sock）构建复杂环境，或需多次复用中等容器可访问 Docker socketDinD 特权容器需要完全隔离 Docker 环境（CI 用）高（不推荐）需要，多数云服务禁用结合我目前的现状：✅基于 PyQt 的 Python 项目，需要打包为.exe可执行文件，准备部署到 Windows 上运行，]]></description><category></category></item><item><title><![CDATA[VLA 算法现状概述]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148240905</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148240905</guid><author>xiaomu_347</author><pubDate>Mon, 26 May 2025 22:33:04 +0800</pubDate><description><![CDATA[模型是一类将视觉信息和语言指令结合，用于机器人动作控制的端到端模型。其核心思想是借助大规模预训练的视觉-语言模型（VLM）与机器人示范数据，使机器人能够从一段图像序列和自然语言指令直接输出控制动作序列。这类模型通常包括：①（提取图像特征），②（提取指令语义），③（如通过 FiLM 将语言嵌入视觉特征），以及④（将融合后的特征解码为动作）。例如，OpenVLA 采用 LLaMA2 为语言骨干，结合 DINOv2、SigLIP 双通道视觉编码器，将图像和指令拼接成输入序列，输出下一个动作标记；]]></description><category></category></item><item><title><![CDATA[机器人强化学习入门学习笔记（四）]]></title><link>https://blog.youkuaiyun.com/xiaomu_347/article/details/148169823</link><guid>https://blog.youkuaiyun.com/xiaomu_347/article/details/148169823</guid><author>xiaomu_347</author><pubDate>Fri, 23 May 2025 17:00:10 +0800</pubDate><description><![CDATA[强化学习模型性能优劣与奖励函数息息相关，如何设计一个好的奖励函数就显得尤为重要了。]]></description><category></category></item></channel></rss>