- 博客(3)
- 收藏
- 关注
原创 AI Agent 可观测性实战:用 OpenTelemetry + Phoenix 追踪多步执行链路
本文针对AI Agent系统的"执行黑盒"问题,提出了一套完整的可观测性解决方案。主要内容包括: 问题分析、 解决方案、 技术选型、核心价值、部署架构
2026-07-28 15:05:02
469
原创 vLLM 双 RTX 3090 + WSL2 部署 Qwen AWQ:vLLM 多卡推理
双RTX3090+WSL2部署Qwen AWQ模型实战指南 本文详细介绍了在双RTX3090显卡的Windows11系统上,通过WSL2 Ubuntu环境部署Qwen3.6-35B-A3B-AWQ大模型的全过程。主要内容包括: 环境准备:检查WSL2双显卡识别状态,解决常见识别问题 开发环境配置:使用uv工具创建Python3.11独立环境 模型部署: 下载并校验Qwen AWQ模型 使用vLLM框架实现双显卡张量并行推理 服务化部署: 提供OpenAI兼容API接口 配置systemd服务实现开机自启 解
2026-07-28 14:03:23
688
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅