没枕头我咋睡觉

vllm推理框架启动模型不具备api-key验证。需借助fastapi可以实现该功能。通过访问fastapi提供的12345即可实现改功能。

ragas是一个用来评估RAG系统的框架，允许不在依赖人工注释的情况下，通过一套指标评估检索模块和生成模块的性能及其质量。上下文精确度【context precision】：用embedding模型通过余弦相似度来搜索与query相似的文本。用来衡量上下文中所有真实的消息是否排在了较高位置。上下文召回率【context recall 】：就是通过embedding模型检索到的上下文是否包含真实答案。用来衡量检索到的上下文与被视为事实真相的标注答案的一致性程度。他根据标注答案和检索到的上下文来计算。

hccl在创建通信域时，相应的卡需要分配大约300M的device内存，因此每张卡所在的通信域的数量越多，则额外需要的内存越多，因此会有内存不足的问题。背景：运行DeepSeek-R1-Distill-Qwen-14B模型，在2张300 P卡可以运行，单独一张启动报以上错误。

启动xinference之前设置。启动服务器前设置环境变量。

1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误。通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装。1、gcc/g++ 安装版本要求12.0版本及以上。2、 cmake版本要求3.26及以上。解决方法：安装torchvisioncpu版本。python版本：3.10。

本地下载了DeepSeek-R1-Distill-Qwen-7B模型后，通过ollama create DeepSeek-R1-Distill-Qwen-7B -f ds7b.mf加载模型启动后回答混乱，无法使用。重新下载模型，选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf。再次加载模型后启动正常。

进入容器，修改配置文件。不修改启动模型会报错。

1、python官网安装python 【推荐要3.8以上版本】2、安装vllm模块。4、利用python脚本调用测试。2、安装python环境。出现以下内容代表运行成功。