本文解决了vllm-ascend官方镜像环境不匹配问题，详细记录了mooncake配置vllm-ascend的完整过程。首先完成mooncake环境搭建，包括安装依赖、编译和启动服务；随后解决vllm和torch版本冲突问题，统一降级到兼容版本；最后通过lmcache benchmark测试验证效果。测试结果表明：1)不使用mooncake时，TTFT增加拐点与NPU内存容量匹配；2)使用mooncake时，TTFT增加拐点与配置的存储空间匹配；3)随着样本量增大，KV缓存需求增加，TTFT平均值趋于收敛，

本文对Qwen2.5-72B-Instruct模型进行了量化效果评测，主要考察精度损失和推理性能。使用msit/msmodelslim工具进行w8a8和w4a16两种量化，并在evalscope工具上进行测试。结果显示：w8a8量化最大精度损失仅0.012，w4a16为0.0261；在性能方面，w8a8在8卡部署时吞吐提升1.46倍，而w4a16性能提升有限，适合并发需求低的场景。测试数据表明，w8a8量化在精度和性能间取得了较好平衡，是更优选择。

摘要：vLLM-Ascend部署Qwen3-Coder-30B-A3B-Instruct模型时，流式调用接口不返回usage信息。测试发现设置stream_options={"include_usage": True}无效，需参考vLLM官方代码，同时设置include_usage和continuous_usage_stats参数才能获取token统计信息。该问题涉及vLLM 0.9.2版本在Ascend环境下的特殊配置需求。

摘要：本文介绍了在Ascend NPU上部署Qwen3-Coder-30B-A3B-Instruct大模型的实践过程。通过vLLM-Ascend框架，详细说明了环境准备（CANN 8.1、PyTorch-NPU 2.5.1等）、模型下载、容器启动及服务部署步骤，包括vLLM服务的启动参数配置和接口测试方法。测试结果显示在当前2卡910B3配置下性能表现仅为8token/s（1并发），并指出流式调用时存在无法输出usage信息的问题。该方案为Ascend平台私有化部署大模型推理服务提供了参考实现。

本文介绍了OpenCompass大语言模型评测平台的本地部署方法及使用方案。主要内容包括：1）环境搭建，通过conda创建Python 3.10环境并安装PyTorch；2）安装OpenCompass的三种方式（pip基本/完整安装、源码安装）；3）数据集准备，支持Hugging Face、ModelScope及自定义数据集；4）本地模型评测配置，包括Hugging Face模型配置文件和评测任务设置（命令行或Python脚本方式）。OpenCompass支持多种主流大模型评测，提供灵活的数据集加载和任务配

基于最新vllm版本成功部署qwen3-rerank模型服务

昇腾部署qwen2.5大模型，以及相关适配验证。

大模型量化

昇腾硬件大模型训练迁移。

当前用户下执行npu-smi info是否可以查看到gpu信息，如果不能，则表示驱动安装错误，需要在安装命令加上 --install-for-all。检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。资源下载地址：https://www.hiascend.com/developer/download。通过执行npu-smi info命令查看。支持的PyTorch版本。支持的Adapter版本。