NDF923的专栏

首先打开，然后搜索DeepSeek-R1-Distill-Qwen-7B，进入详情页官方推荐使用vllm来启动，但是手动搭建vllm环境容易出各种问题，我们这里直接找一个vllm的Docker镜像。

由于硬件只有两张4090卡，但是领导还想要满血版32b的性能，那就只能部署GGUF版。据说QwQ-32B比Deepseek-R1-32b要更牛逼一些，所以就选择部署QwQ-32B-GGUF，根据最终的测试--针对长文本（3-5M大小）的理解，QwQ-32B-GGUF确实要比Deepseek-R1-32b-GGUF好一些。是阿里官方发布的原始模型，通常以 PyTorch 权重文件（如.bin或）形式存储，需依赖深度学习框架（如 Hugging Face Transformers）加载。

而开发的项目又无法在本地运行（需要GPU），那调试代码的话就很难受了，好在vscode足够强大，使用插件可以连接docker容器，并基于容器运行调试debug代码。点击左下角绿色的ssh信息，然后弹出让选择远程连接的选项，找到“Dev Containers”分组下的“Attach to Running Container”（当然前提是你的docker容器已经启动起来了）。然后，就能开到连接的服务器上的所有docker容器了，单击选择你的docker容器即可；一、安装Dev Containers插件。

主要是创建了一个基于centos7的镜像，然后按照miniconda、faiss-gpu 和 pandas，但是奇怪的是在这里不管是执行pip install 还是conda install，都执行不成功，但是把这个放到容器中执行就可以，咱也不知道为啥。-v：指定一个卷（volume），将宿主机的/home/ndf/faiss/data目录映射到容器的/app/data目录；创建一个名为faiss-gpu的镜像，版本为v1；--name：指定了一个名称为ndf-faiss的容器；1、创建文件夹faiss。