摘要：本文介绍了vLLM推理服务监控看板的搭建过程，使用Prometheus+Grafana+vLLM-metrics组件。主要内容包括：1)环境准备，详细说明了Prometheus和Grafana的安装配置步骤；2)看板配置，包含数据源添加和仪表盘导入；3)最终效果展示。通过配置Prometheus采集vLLM服务指标，结合Grafana可视化展示，实现了对vLLM推理服务的实时监控。文章提供了完整的配置文件示例和操作流程，便于快速搭建监控系统。

本文解决了vllm-ascend官方镜像环境不匹配问题，详细记录了mooncake配置vllm-ascend的完整过程。首先完成mooncake环境搭建，包括安装依赖、编译和启动服务；随后解决vllm和torch版本冲突问题，统一降级到兼容版本；最后通过lmcache benchmark测试验证效果。测试结果表明：1)不使用mooncake时，TTFT增加拐点与NPU内存容量匹配；2)使用mooncake时，TTFT增加拐点与配置的存储空间匹配；3)随着样本量增大，KV缓存需求增加，TTFT平均值趋于收敛，

本文对Qwen2.5-72B-Instruct模型进行了量化效果评测，主要考察精度损失和推理性能。使用msit/msmodelslim工具进行w8a8和w4a16两种量化，并在evalscope工具上进行测试。结果显示：w8a8量化最大精度损失仅0.012，w4a16为0.0261；在性能方面，w8a8在8卡部署时吞吐提升1.46倍，而w4a16性能提升有限，适合并发需求低的场景。测试数据表明，w8a8量化在精度和性能间取得了较好平衡，是更优选择。

摘要：vLLM-Ascend部署Qwen3-Coder-30B-A3B-Instruct模型时，流式调用接口不返回usage信息。测试发现设置stream_options={"include_usage": True}无效，需参考vLLM官方代码，同时设置include_usage和continuous_usage_stats参数才能获取token统计信息。该问题涉及vLLM 0.9.2版本在Ascend环境下的特殊配置需求。

摘要：本文介绍了在Ascend NPU上部署Qwen3-Coder-30B-A3B-Instruct大模型的实践过程。通过vLLM-Ascend框架，详细说明了环境准备（CANN 8.1、PyTorch-NPU 2.5.1等）、模型下载、容器启动及服务部署步骤，包括vLLM服务的启动参数配置和接口测试方法。测试结果显示在当前2卡910B3配置下性能表现仅为8token/s（1并发），并指出流式调用时存在无法输出usage信息的问题。该方案为Ascend平台私有化部署大模型推理服务提供了参考实现。

本文介绍了OpenCompass大语言模型评测平台的本地部署方法及使用方案。主要内容包括：1）环境搭建，通过conda创建Python 3.10环境并安装PyTorch；2）安装OpenCompass的三种方式（pip基本/完整安装、源码安装）；3）数据集准备，支持Hugging Face、ModelScope及自定义数据集；4）本地模型评测配置，包括Hugging Face模型配置文件和评测任务设置（命令行或Python脚本方式）。OpenCompass支持多种主流大模型评测，提供灵活的数据集加载和任务配

基于最新vllm版本成功部署qwen3-rerank模型服务

昇腾部署qwen2.5大模型，以及相关适配验证。

大模型量化

昇腾硬件大模型训练迁移。

当计算新的部分softmax结果时，采用同步softmax操作更新先前的部分softmax结果。为解决这些问题，研究团队提出了一种名为FlashDecoding++的更快的GPU实现方法，通过解决不同输入的最大值问题、优化flat GEMM操作和根据输入动态性和硬件配置进行启发式数据流优化，实现了对主流LMs的加速。未充分利用flat GEMM计算：在LLM推理中，矩阵执行GEMM操作的形状是扁平的，这导致未充分利用计算和超过50%的性能损失（在之前的设计中，如cuBLAS、CUTLASS等）。

当前用户下执行npu-smi info是否可以查看到gpu信息，如果不能，则表示驱动安装错误，需要在安装命令加上 --install-for-all。检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。资源下载地址：https://www.hiascend.com/developer/download。通过执行npu-smi info命令查看。支持的PyTorch版本。支持的Adapter版本。

运行步骤参考/root/autodl-tmp/files/TensorRT-LLM/examples/gpt目录下的readme文档。由于系统中的cudnn是deb安装的，所以去Nvidia下载deb安装，可以直接对旧版本进行覆盖。于是决定通过在公有云申请资源，通过配置TRT-LLM编译依赖环境的方式进行编译。启动已下载的docker镜像，查看编译TRT-LLM的主要依赖项版本。模型保存在/root/autodl-tmp/models/gpt/公有云选择AudoDL，理由简单易用，价格便宜。

TensorRT-LLM可以视为TensorRT和FastTransformer的结合体，旨为大模型推理加速而生。

快速实现flash-attention调用

chatglm-6b，全量fine-tune和p-tuning复现。对于训练后丧失了原有的对话功能的现象进行初步尝试，并收获效果。