- 博客(6)
- 资源 (5)
- 收藏
- 关注
原创 VLLM部署qwen3.5模型关闭思考模式方法(含vllm离线部署qwen3.5避坑指南)
摘要:针对Qwen3.5系列模型默认开启思考模式导致响应延迟的问题,通过修改chat_template.jinja文件成功关闭该功能。具体操作为替换文件末尾{%-if add_generation_prompt%}部分的第152行内容为第150行内容,适用于vllm部署的qwen3.5-9B模型。注意事项包括:需使用vllm-openai v0.17.0+或nightly版本镜像;离线部署时需确保下载真实的merges.txt等分词器文件(非网络链接),否则会引发TokenizerFast初始化错误。
2026-03-31 18:11:28
1610
原创 Pycharm+anaconda+pyqt开发 设置QT designer/pyuic/pyrcc工具
Working directory设置为$FileDir$。通常用pycharm开发qt程序时需要设置QT designer/pyuic/pyrcc三个外部工具,网上看了许多教程,在anaconda环境中设置pyuic和pyrcc工具时,直接设置可执行程序exe时会遇到无法执行的问题,此时使用python -m 的终端指令即可。Program里设置对应的designer.exe程序地址,我的环境中设置了pyside6包中的地址,也可以根据需要设置pyqt5包里的地址。1、设置QT designer。
2023-12-05 21:08:48
545
1
原创 Grafana连接oracle数据库插件
Granfana作为前端监控显示程序提供了迅速图形化查看数据库数据的方式。虽然官网提供了部分免费数据库插件,但毕竟太少,最近需要在Oracle数据库上做项目,发现官方的oracle插件是收费的,几经周折找到一个免费插件simpod-json-datasorce(下载地址https://storage.googleapis.com/plugins-community/simpod-json-datasource/release/0.6.2/simpod-json-datasource-0.6.2.zip)
2023-06-10 22:03:30
3938
9
Python实现的多串口监视工具
2023-12-05
Grafana连接oracle数据库插件
2023-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅