- 博客(6)
- 收藏
- 关注
原创 crewai 下 Litellm BadRequestError的解决方案
在CrewAI中使用Litellm调用国内模型时,若遇到BadRequestError错误,需在模型名称前添加"openai/"前缀以标识兼容OpenAI的端点。正确的写法应为model="openai/qwen3-235b-a22b-instruct-2507",同时保持base_url简洁,无需添加额外路径。Litellm会自动处理OpenAI兼容端点的路由问题,包括/chat/completions和/completions等接口调用。这种写法适用于调用国内兼容
2025-07-26 01:30:27
280
原创 chromadb 导致的 ValueError: The onnxruntime python package is not installed.
在Windows 11环境下使用Python 3.12运行CrewAI时出现onnxruntime相关错误,降级至Python 3.11并安装Microsoft C++库可解决问题。该方案参考了GitHub上的讨论,表明当前版本兼容性问题可通过版本回退和依赖安装解决。开发者建议在Linux环境下开发可避免类似Windows平台的兼容性问题。
2025-07-26 01:15:13
413
原创 deepseek R1 671B满血/量化 本地部署记录(ollama\sglang)
Deepseek R1 满血和量化版 不同方式的部署记录
2025-02-14 15:49:58
1027
原创 Ubuntu下让matplotlib显示中文字体
注意:这个是在ubuntu下,如果是Windows可能第三部就好了。找不到了,反正大家都是互相抄,哈哈哈,有用就行。
2024-11-27 10:25:56
689
原创 手动安装VLLM出现的问题:fatal error: cuda_fp8.h: No such file or directory
需要这个的原因,可能是下面的nvidia-cuda-toolkit残留,导致被判定为cuda11.0了,不过设置了后,问题也不出现了。如果上面两个命令都有nvcc路径,并且不一致,就是不行的,需要卸载nvidia-cuda-toolkit。因为系统上 nvidia-cuda-toolkit 也 存在 NVCC 在 /usr/bin下面。就行,此处是禁用 HTTP/2。
2024-09-03 11:57:08
2007
原创 RuntimeError: Unexpected error from cudaGetDeviceCount()
docker 容器里的torch 无法访问gpu 调用cuda的问题
2024-08-18 16:00:08
1916
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人