- 博客(9)
- 收藏
- 关注
RSS订阅原创 模型测试——性能测试
本文介绍了使用vllm-benchmark对vllm或sglang框架部署的模型进行性能测试的方法。测试需要两个pod：服务端部署模型服务，客户端执行测试命令。详细说明了sglang启动服务的参数配置和vllmbench测试命令的各项参数含义，包括后端类型、模型路径、数据集选择、性能指标等。重点分析了TTFT、TPOT、吞吐量等关键指标，并提供了进阶调优建议：通过调整cuda-graph-bs、max-running-requests等参数优化decode阶段性能，通过max-prefill-tokens调
2026-03-04 17:09:22
458
原创 css样式居中
一、水平居中 1、text-align:center 2、margin:0 auto; 要有固定宽度才能生效！！！ 3、弹性布局（水平、垂直居中） display: flex; justify-content: center; align-item:center; 4、网格布局（水平、垂直居中） (1)父：display: grid; 子： align-self: center; ju...
2025-11-28 10:32:44
231
原创 Windows11家庭版 使用vllm部署本地模型
本文介绍了在Windows系统上配置AI开发环境的完整流程：1）通过批处理脚本安装Hyper-V功能；2）使用PowerShell安装WSL和Ubuntu子系统；3）在Ubuntu中安装Miniconda并创建Python虚拟环境；4）针对AMD x86架构安装vLLM服务，推荐使用ModelScope模型；5）提供vLLM服务启动参数配置建议；6）最后演示了如何通过OpenAI接口调用vLLM服务，包括工具调用的处理逻辑。整个过程涵盖了从系统配置到模型部署的关键步骤，特别强调了工具调用场景下的错误处理和流
2025-09-17 10:58:26
2060
1
原创 Wxml2Canvash插件踩坑记录
在页面中使用是正常的，在自定义组件中使用生成的图片是空白的情况，源码中获取用的是this。object，使用却用的this.obj，所以新增一行代码就行。
2024-06-25 14:31:09
751
2
原创 React的页面传值，路由跳转
1，search传值（拼接url的传值方式） 特点：刷新不回消失，是最常用的方法 var path = { pathname:"/home", search:`?id=12` } //跳转 history.push(path); //取 props.location.search;//得到的结果是字符串 ?id=12 2，params---定义路由方式 特点：需要在路由表中，先定义路由参数 （1）定义路由 //该路...
2021-10-28 15:39:08
1313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人