Ollama部署QwQ-32B模型环境示例参考(requirements.txt)

基础环境:

Ubuntu22.04, Python 3.12, Pytorch 2.5.1,CUDA 12.1, cuDNN 8, NVCC, VNC, QwQ-32b,QwQ-32B模型,Ollama

显卡驱动

NVIDIA-SMI 550.144.03
Driver Version: 550.144.03
CUDA Version: 12.4

pip list

Package                                  Version
---------------------------------------- ------------
absl-py                                  2.1.0
aiocache                                 0.12.3
aiofiles                                 24.1.0
aiohappyeyeballs                         2.6.1
aiohttp                                  3.11.11
aiosignal                                1.3.2
alembic                                  1.14.0
annotated-types                          0.7.0
anthropic                                0.49.0
anyio                                    4.9.0
appdirs                                  1.4.4
APScheduler                              3.10.4
argon2-cffi                              23.1.0
argon2-cffi-bindings                     21.2.0
asgiref                                  3.8.1
asttokens                                2.4.1
async-timeout                            5.0.1
attrs                                    25.3.0
Authlib                                  1.4.1
av                                       14.2.0
azure-ai-documentintelligence            1.0.0
azure-core                               1.32.0
azure-identity                           1.20.0
azure-storage-blob                       12.24.1
backoff                                  2.2.1
bcrypt                                   4.3.0
beautifulsoup4                           4.13.3
bidict                                   0.23.1
bitarray                                 3.2.0
black                                    25.1.0
blinker                                  1.9.0
boto3                                    1.35.53
botocore                                 1.35.99
build                                    1.2.2.post1
cachetools                               5.5.2
certifi                                  2025.1.31
cffi                                     1.17.1
chardet                                  5.2.0
charset-normalizer                       3.4.1
chroma-hnswlib                           0.7.6
chromadb                                 0.6.2
click                                    8.1.8
cloudpickle                              3.0.0
colbert-ai                               0.2.21
colorclass                               2.2.2
coloredlogs                              15.0.1
comm                                     0.2.2
compressed_rtf                           1.0.6
contourpy                                1.2.1
cryptography                             44.0.2
ctranslate2                              4.5.0
cycler                                   0.12.1
dataclasses-json                         0.6.7
datasets                                 3.4.1
debugpy                                  1.8.2
decorator                                5.1.1
defusedxml                               0.7.1
Deprecated                               1.2.18
dill                                     0.3.8
distro                                   1.9.0
dnspython                                2.7.0
docker                                   7.1.0
docx2txt                                 0.8
duckduckgo_search                        7.3.2
durationpy                               0.9
easygui                                  0.98.3
ebcdic                                   1.1.1
ecdsa                                    0.19.1
einops                                   0.8.0
elastic-transport                        8.17.1
elasticsearch                            8.17.1
emoji                                    2.14.1
et_xmlfile                               2.0.0
eval_type_backport                       0.2.2
Events                                   0.5
executing                                2.0.1
extract-msg                              0.53.2
fake-useragent                           1.5.1
fastapi                                  0.115.7
faster-whisper                           1.1.1
filelock                                 3.13.1
filetype                                 1.2.0
firecrawl-py                             1.12.0
flash-attn                               2.7.2.post1
Flask                                    3.1.0
flatbuffers                              25.2.10
fonttools                                4.53.0
fpdf2                                    2.8.2
frozenlist                               1.5.0
fs                                       2.4.16
fsspec                                   2024.2.0
ftfy                                     6.2.3
gcp-storage-emulator                     2024.8.3
git-python                               1.0.3
gitdb                                    4.0.12
GitPython                                3.1.44
google-ai-generativelanguage             0.6.6
google-api-core                          2.24.2
google-api-python-client                 2.165.0
google-auth                              2.38.0
google-auth-httplib2                     0.2.0
google-auth-oauthlib                     1.2.1
google-cloud-core                        2.4.3
google-cloud-storage                     2.19.0
google-crc32c                            1.7.0
google-generativeai                      0.7.2
google-resumable-media                   2.7.2
googleapis-common-protos                 1.63.2
greenlet                                 3.1.1
grpcio                                   1.64.1
grpcio-status                            1.62.3
grpcio-tools                             1.62.3
h11                                      0.14.0
h2                                       4.2.0
h5py                                     3.11.0
hpack                                    4.1.0
html5lib                                 1.1
httpcore                                 1.0.7
httplib2                                 0.22.0
httptools                                0.6.4
httpx                                    0.28.1
httpx-sse                                0.4.0
huggingface-hub                          0.29.3
humanfriendly                            10.0
hyperframe                               6.1.0
idna                                     3.10
importlib_metadata                       8.4.0
importlib_resources                      6.5.2
iniconfig                                2.1.0
ipykernel                                6.29.4
ipython                                  8.25.0
isodate                                  0.7.2
itsdangerous                             2.2.0
jedi                                     0.19.1
Jinja2                                   3.1.3
jiter                                    0.9.0
jmespath                                 1.0.1
joblib                                   1.4.2
jsonpatch                                1.33
jsonpointer                              3.0.0
jupyter_client                           8.6.2
jupyter_core                             5.7.2
kiwisolver                               1.4.5
kubernetes                               32.0.1
langchain                                0.3.19
langchain-community                      0.3.18
langchain-core                           0.3.46
langchain-text-splitters                 0.3.7
langdetect                               1.0.9
langfuse                                 2.44.0
langsmith                                0.3.18
lark                                     1.1.9
ldap3                                    2.9.1
lightgbm                                 4.4.0
loguru                                   0.7.2
lxml                                     5.3.1
Mako                                     1.3.9
Markdown                                 3.7
markdown-it-py                           3.0.0
MarkupSafe                               2.1.5
marshmallow                              3.26.1
matplotlib                               3.9.0
matplotlib-inline                        0.1.7
mdurl                                    0.1.2
milvus-lite                              2.4.11
mmh3                                     5.1.0
monotonic                                1.6
moto                                     5.1.1
mpmath                                   1.3.0
msal                                     1.32.0
msal-extensions                          1.3.1
msoffcrypto-tool                         5.4.2
multidict                                6.2.0
multiprocess                             0.70.16
mypy-extensions                          1.0.0
nest-asyncio                             1.6.0
networkx                                 3.2.1
ninja                                    1.11.1.3
nltk                                     3.9.1
numpy                                    1.26.4
nvidia-cublas-cu12                       12.1.3.1
nvidia-cuda-cupti-cu12                   12.1.105
nvidia-cuda-nvrtc-cu12                   12.1.105
nvidia-cuda-runtime-cu12                 12.1.105
nvidia-cudnn-cu12                        9.1.0.70
nvidia-cufft-cu12                        11.0.2.54
nvidia-curand-cu12                       10.3.2.106
nvidia-cusolver-cu12                     11.4.5.107
nvidia-cusparse-cu12                     12.1.0.106
nvidia-nccl-cu12                         2.21.5
nvidia-nvjitlink-cu12                    12.1.105
nvidia-nvtx-cu12                         12.1.105
oauthlib                                 3.2.2
olefile                                  0.47
oletools                                 0.60.2
onnxruntime                              1.21.0
open-webui                               0.5.20
openai                                   1.67.0
opencv-python                            4.10.0.84
opencv-python-headless                   4.11.0.86
openpyxl                                 3.1.5
opensearch-py                            2.8.0
opentelemetry-api                        1.27.0
opentelemetry-exporter-otlp-proto-common 1.27.0
opentelemetry-exporter-otlp-proto-grpc   1.27.0
opentelemetry-instrumentation            0.48b0
opentelemetry-instrumentation-asgi       0.48b0
opentelemetry-instrumentation-fastapi    0.48b0
opentelemetry-proto                      1.27.0
opentelemetry-sdk                        1.27.0
opentelemetry-semantic-conventions       0.48b0
opentelemetry-util-http                  0.48b0
orjson                                   3.10.15
overrides                                7.7.0
packaging                                23.2
pandas                                   2.2.3
parso                                    0.8.4
passlib                                  1.7.4
pathspec                                 0.12.1
pcodedmp                                 1.2.6
peewee                                   3.17.9
peewee-migrate                           1.12.2
pexpect                                  4.9.0
pgvector                                 0.3.5
pillow                                   10.3.0
pip                                      24.0
platformdirs                             4.2.2
playwright                               1.49.1
pluggy                                   1.5.0
portalocker                              2.10.1
posthog                                  3.21.0
primp                                    0.14.0
prompt_toolkit                           3.0.47
propcache                                0.3.0
proto-plus                               1.26.1
protobuf                                 4.25.3
psutil                                   6.0.0
psycopg2-binary                          2.9.9
ptyprocess                               0.7.0
pure-eval                                0.2.2
py-partiql-parser                        0.6.1
pyarrow                                  19.0.1
pyasn1                                   0.4.8
pyasn1_modules                           0.4.1
pyclipper                                1.3.0.post6
pycparser                                2.22
pydantic                                 2.10.6
pydantic_core                            2.27.2
pydantic-settings                        2.8.1
pydub                                    0.25.1
pyee                                     12.0.0
Pygments                                 2.18.0
PyJWT                                    2.10.1
pymdown-extensions                       10.14.2
pymilvus                                 2.5.0
pymongo                                  4.11.3
PyMySQL                                  1.1.1
pypandoc                                 1.13
pyparsing                                3.1.2
pypdf                                    4.3.1
PyPika                                   0.48.9
pyproject_hooks                          1.2.0
pytest                                   8.3.5
pytest-docker                            3.1.2
python-dateutil                          2.9.0.post0
python-dotenv                            1.0.1
python-engineio                          4.11.2
python-iso639                            2025.2.18
python-jose                              3.4.0
python-magic                             0.4.27
python-multipart                         0.0.18
python-oxmsg                             0.0.2
python-pptx                              1.0.0
python-socketio                          5.11.3
pytube                                   15.0.0
pytz                                     2024.1
pyxlsb                                   1.0.10
PyYAML                                   6.0.2
pyzmq                                    26.0.3
qdrant-client                            1.12.2
rank-bm25                                0.2.2
RapidFuzz                                3.12.2
rapidocr-onnxruntime                     1.3.24
red-black-tree-mod                       1.22
redis                                    5.2.1
regex                                    2024.11.6
requests                                 2.32.3
requests-oauthlib                        2.0.0
requests-toolbelt                        1.0.0
responses                                0.25.7
RestrictedPython                         8.0
rich                                     13.9.4
rsa                                      4.9
RTFDE                                    0.1.2
s3transfer                               0.10.4
safetensors                              0.5.3
scikit-learn                             1.5.0
scipy                                    1.14.0
seaborn                                  0.13.2
sentence-transformers                    3.3.1
sentencepiece                            0.2.0
setuptools                               69.5.1
shapely                                  2.0.7
shellingham                              1.5.4
simple-websocket                         1.1.0
six                                      1.16.0
smmap                                    5.0.2
sniffio                                  1.3.1
soundfile                                0.13.1
soupsieve                                2.6
spyder-kernels                           2.5.2
SQLAlchemy                               2.0.38
stack-data                               0.6.3
starlette                                0.45.3
sympy                                    1.13.1
tenacity                                 9.0.0
tensorboard                              2.17.0
tensorboard-data-server                  0.7.2
threadpoolctl                            3.5.0
tiktoken                                 0.9.0
tokenizers                               0.21.1
torch                                    2.5.1+cu121
torchaudio                               2.5.1+cu121
torchvision                              0.20.1+cu121
tornado                                  6.4.1
tqdm                                     4.66.4
traitlets                                5.14.3
transformers                             4.49.0
triton                                   3.1.0
typer                                    0.15.2
typing_extensions                        4.12.2
typing-inspect                           0.9.0
typing-inspection                        0.4.0
tzdata                                   2024.1
tzlocal                                  5.3.1
ujson                                    5.10.0
unstructured                             0.16.17
unstructured-client                      0.31.1
uritemplate                              4.1.1
urllib3                                  2.3.0
uvicorn                                  0.34.0
uvloop                                   0.21.0
validators                               0.34.0
watchfiles                               1.0.4
wcwidth                                  0.2.13
webencodings                             0.5.1
websocket-client                         1.8.0
websockets                               15.0.1
Werkzeug                                 3.1.3
wheel                                    0.43.0
wrapt                                    1.17.2
wsproto                                  1.2.0
wurlitzer                                3.1.1
xlrd                                     2.0.1
XlsxWriter                               3.2.2
xmltodict                                0.14.2
xxhash                                   3.5.0
yarl                                     1.18.3
youtube-transcript-api                   0.6.3
zipp                                     3.21.0
zstandard                                0.23.0

conda list

# packages in environment at /root/miniconda3/envs/myconda:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main    defaults
_openmp_mutex             5.1                       1_gnu    defaults
absl-py                   2.1.0                    pypi_0    pypi
aiocache                  0.12.3                   pypi_0    pypi
aiofiles                  24.1.0                   pypi_0    pypi
aiohappyeyeballs          2.6.1                    pypi_0    pypi
aiohttp                   3.11.11                  pypi_0    pypi
aiosignal                 1.3.2                    pypi_0    pypi
alembic                   1.14.0                   pypi_0    pypi
annotated-types           0.7.0                    pypi_0    pypi
anthropic                 0.49.0                   pypi_0    pypi
anyio                     4.9.0                    pypi_0    pypi
appdirs                   1.4.4                    pypi_0    pypi
apscheduler               3.10.4                   pypi_0    pypi
argon2-cffi               23.1.0                   pypi_0    pypi
argon2-cffi-bindings      21.2.0                   pypi_0    pypi
asgiref                   3.8.1                    pypi_0    pypi
asttokens                 2.4.1                    pypi_0    pypi
async-timeout             5.0.1                    pypi_0    pypi
attrs                     25.3.0                   pypi_0    pypi
authlib                   1.4.1                    pypi_0    pypi
av                        14.2.0                   pypi_0    pypi
azure-ai-documentintelligence 1.0.0                    pypi_0    pypi
azure-core                1.32.0                   pypi_0    pypi
azure-identity            1.20.0                   pypi_0    pypi
azure-storage-blob        12.24.1                  pypi_0    pypi
backoff                   2.2.1                    pypi_0    pypi
bcrypt                    4.3.0                    pypi_0    pypi
beautifulsoup4            4.13.3                   pypi_0    pypi
bidict                    0.23.1                   pypi_0    pypi
bitarray                  3.2.0                    pypi_0    pypi
black                     25.1.0                   pypi_0    pypi
blinker                   1.9.0                    pypi_0    pypi
boto3                     1.35.53                  pypi_0    pypi
botocore                  1.35.99                  pypi_0    pypi
build                     1.2.2.post1              pypi_0    pypi
bzip2                     1.0.8                h5eee18b_6    defaults
ca-certificates           2024.3.11            h06a4308_0    defaults
cachetools                5.5.2                    pypi_0    pypi
certifi                   2025.1.31                pypi_0    pypi
cffi                      1.17.1                   pypi_0    pypi
chardet                   5.2.0                    pypi_0    pypi
charset-normalizer        3.4.1                    pypi_0    pypi
chroma-hnswlib            0.7.6                    pypi_0    pypi
chromadb                  0.6.2                    pypi_0    pypi
click                     8.1.8                    pypi_0    pypi
cloudpickle               3.0.0                    pypi_0    pypi
colbert-ai                0.2.21                   pypi_0    pypi
colorclass                2.2.2                    pypi_0    pypi
coloredlogs               15.0.1                   pypi_0    pypi
comm                      0.2.2                    pypi_0    pypi
compressed-rtf            1.0.6                    pypi_0    pypi
contourpy                 1.2.1                    pypi_0    pypi
cryptography              44.0.2                   pypi_0    pypi
ctranslate2               4.5.0                    pypi_0    pypi
cycler                    0.12.1                   pypi_0    pypi
dataclasses-json          0.6.7                    pypi_0    pypi
datasets                  3.4.1                    pypi_0    pypi
debugpy                   1.8.2                    pypi_0    pypi
decorator                 5.1.1                    pypi_0    pypi
defusedxml                0.7.1                    pypi_0    pypi
deprecated                1.2.18                   pypi_0    pypi
dill                      0.3.8                    pypi_0    pypi
distro                    1.9.0                    pypi_0    pypi
dnspython                 2.7.0                    pypi_0    pypi
docker                    7.1.0                    pypi_0    pypi
docx2txt                  0.8                      pypi_0    pypi
duckduckgo-search         7.3.2                    pypi_0    pypi
durationpy                0.9                      pypi_0    pypi
easygui                   0.98.3                   pypi_0    pypi
ebcdic                    1.1.1                    pypi_0    pypi
ecdsa                     0.19.1                   pypi_0    pypi
einops                    0.8.0                    pypi_0    pypi
elastic-transport         8.17.1                   pypi_0    pypi
elasticsearch             8.17.1                   pypi_0    pypi
emoji                     2.14.1                   pypi_0    pypi
et-xmlfile                2.0.0                    pypi_0    pypi
eval-type-backport        0.2.2                    pypi_0    pypi
events                    0.5                      pypi_0    pypi
executing                 2.0.1                    pypi_0    pypi
expat                     2.6.2                h6a678d5_0    defaults
extract-msg               0.53.2                   pypi_0    pypi
fake-useragent            1.5.1                    pypi_0    pypi
fastapi                   0.115.7                  pypi_0    pypi
faster-whisper            1.1.1                    pypi_0    pypi
filelock                  3.13.1                   pypi_0    pypi
filetype                  1.2.0                    pypi_0    pypi
firecrawl-py              1.12.0                   pypi_0    pypi
flash-attn                2.7.2.post1              pypi_0    pypi
flask                     3.1.0                    pypi_0    pypi
flatbuffers               25.2.10                  pypi_0    pypi
fonttools                 4.53.0                   pypi_0    pypi
fpdf2                     2.8.2                    pypi_0    pypi
frozenlist                1.5.0                    pypi_0    pypi
fs                        2.4.16                   pypi_0    pypi
fsspec                    2024.2.0                 pypi_0    pypi
ftfy                      6.2.3                    pypi_0    pypi
gcp-storage-emulator      2024.8.3                 pypi_0    pypi
git-python                1.0.3                    pypi_0    pypi
gitdb                     4.0.12                   pypi_0    pypi
gitpython                 3.1.44                   pypi_0    pypi
google-ai-generativelanguage 0.6.6                    pypi_0    pypi
google-api-core           2.24.2                   pypi_0    pypi
google-api-python-client  2.165.0                  pypi_0    pypi
google-auth               2.38.0                   pypi_0    pypi
google-auth-httplib2      0.2.0                    pypi_0    pypi
google-auth-oauthlib      1.2.1                    pypi_0    pypi
google-cloud-core         2.4.3                    pypi_0    pypi
google-cloud-storage      2.19.0                   pypi_0    pypi
google-crc32c             1.7.0                    pypi_0    pypi
google-generativeai       0.7.2                    pypi_0    pypi
google-resumable-media    2.7.2                    pypi_0    pypi
googleapis-common-protos  1.63.2                   pypi_0    pypi
greenlet                  3.1.1                    pypi_0    pypi
grpcio                    1.64.1                   pypi_0    pypi
grpcio-status             1.62.3                   pypi_0    pypi
grpcio-tools              1.62.3                   pypi_0    pypi
h11                       0.14.0                   pypi_0    pypi
h2                        4.2.0                    pypi_0    pypi
h5py                      3.11.0                   pypi_0    pypi
hpack                     4.1.0                    pypi_0    pypi
html5lib                  1.1                      pypi_0    pypi
httpcore                  1.0.7                    pypi_0    pypi
httplib2                  0.22.0                   pypi_0    pypi
httptools                 0.6.4                    pypi_0    pypi
httpx                     0.28.1                   pypi_0    pypi
httpx-sse                 0.4.0                    pypi_0    pypi
huggingface-hub           0.29.3                   pypi_0    pypi
humanfriendly             10.0                     pypi_0    pypi
hyperframe                6.1.0                    pypi_0    pypi
idna                      3.10                     pypi_0    pypi
importlib-metadata        8.4.0                    pypi_0    pypi
importlib-resources       6.5.2                    pypi_0    pypi
iniconfig                 2.1.0                    pypi_0    pypi
ipykernel                 6.29.4                   pypi_0    pypi
ipython                   8.25.0                   pypi_0    pypi
isodate                   0.7.2                    pypi_0    pypi
itsdangerous              2.2.0                    pypi_0    pypi
jedi                      0.19.1                   pypi_0    pypi
jinja2                    3.1.3                    pypi_0    pypi
jiter                     0.9.0                    pypi_0    pypi
jmespath                  1.0.1                    pypi_0    pypi
joblib                    1.4.2                    pypi_0    pypi
jsonpatch                 1.33                     pypi_0    pypi
jsonpointer               3.0.0                    pypi_0    pypi
jupyter-client            8.6.2                    pypi_0    pypi
jupyter-core              5.7.2                    pypi_0    pypi
kiwisolver                1.4.5                    pypi_0    pypi
kubernetes                32.0.1                   pypi_0    pypi
langchain                 0.3.19                   pypi_0    pypi
langchain-community       0.3.18                   pypi_0    pypi
langchain-core            0.3.46                   pypi_0    pypi
langchain-text-splitters  0.3.7                    pypi_0    pypi
langdetect                1.0.9                    pypi_0    pypi
langfuse                  2.44.0                   pypi_0    pypi
langsmith                 0.3.18                   pypi_0    pypi
lark                      1.1.9                    pypi_0    pypi
ld_impl_linux-64          2.38                 h1181459_1    defaults
ldap3                     2.9.1                    pypi_0    pypi
libffi                    3.4.4                h6a678d5_1    defaults
libgcc-ng                 11.2.0               h1234567_1    defaults
libgomp                   11.2.0               h1234567_1    defaults
libstdcxx-ng              11.2.0               h1234567_1    defaults
libuuid                   1.41.5               h5eee18b_0    defaults
lightgbm                  4.4.0                    pypi_0    pypi
loguru                    0.7.2                    pypi_0    pypi
lxml                      5.3.1                    pypi_0    pypi
mako                      1.3.9                    pypi_0    pypi
markdown                  3.7                      pypi_0    pypi
markdown-it-py            3.0.0                    pypi_0    pypi
markupsafe                2.1.5                    pypi_0    pypi
marshmallow               3.26.1                   pypi_0    pypi
matplotlib                3.9.0                    pypi_0    pypi
matplotlib-inline         0.1.7                    pypi_0    pypi
mdurl                     0.1.2                    pypi_0    pypi
milvus-lite               2.4.11                   pypi_0    pypi
mmh3                      5.1.0                    pypi_0    pypi
monotonic                 1.6                      pypi_0    pypi
moto                      5.1.1                    pypi_0    pypi
mpmath                    1.3.0                    pypi_0    pypi
msal                      1.32.0                   pypi_0    pypi
msal-extensions           1.3.1                    pypi_0    pypi
msoffcrypto-tool          5.4.2                    pypi_0    pypi
multidict                 6.2.0                    pypi_0    pypi
multiprocess              0.70.16                  pypi_0    pypi
mypy-extensions           1.0.0                    pypi_0    pypi
ncurses                   6.4                  h6a678d5_0    defaults
nest-asyncio              1.6.0                    pypi_0    pypi
networkx                  3.2.1                    pypi_0    pypi
ninja                     1.11.1.3                 pypi_0    pypi
nltk                      3.9.1                    pypi_0    pypi
numpy                     1.26.4                   pypi_0    pypi
nvidia-cublas-cu12        12.1.3.1                 pypi_0    pypi
nvidia-cuda-cupti-cu12    12.1.105                 pypi_0    pypi
nvidia-cuda-nvrtc-cu12    12.1.105                 pypi_0    pypi
nvidia-cuda-runtime-cu12  12.1.105                 pypi_0    pypi
nvidia-cudnn-cu12         9.1.0.70                 pypi_0    pypi
nvidia-cufft-cu12         11.0.2.54                pypi_0    pypi
nvidia-curand-cu12        10.3.2.106               pypi_0    pypi
nvidia-cusolver-cu12      11.4.5.107               pypi_0    pypi
nvidia-cusparse-cu12      12.1.0.106               pypi_0    pypi
nvidia-nccl-cu12          2.21.5                   pypi_0    pypi
nvidia-nvjitlink-cu12     12.1.105                 pypi_0    pypi
nvidia-nvtx-cu12          12.1.105                 pypi_0    pypi
oauthlib                  3.2.2                    pypi_0    pypi
olefile                   0.47                     pypi_0    pypi
oletools                  0.60.2                   pypi_0    pypi
onnxruntime               1.21.0                   pypi_0    pypi
open-webui                0.5.20                   pypi_0    pypi
openai                    1.67.0                   pypi_0    pypi
opencv-python             4.10.0.84                pypi_0    pypi
opencv-python-headless    4.11.0.86                pypi_0    pypi
openpyxl                  3.1.5                    pypi_0    pypi
opensearch-py             2.8.0                    pypi_0    pypi
openssl                   3.0.14               h5eee18b_0    defaults
opentelemetry-api         1.27.0                   pypi_0    pypi
opentelemetry-exporter-otlp-proto-common 1.27.0                   pypi_0    pypi
opentelemetry-exporter-otlp-proto-grpc 1.27.0                   pypi_0    pypi
opentelemetry-instrumentation 0.48b0                   pypi_0    pypi
opentelemetry-instrumentation-asgi 0.48b0                   pypi_0    pypi
opentelemetry-instrumentation-fastapi 0.48b0                   pypi_0    pypi
opentelemetry-proto       1.27.0                   pypi_0    pypi
opentelemetry-sdk         1.27.0                   pypi_0    pypi
opentelemetry-semantic-conventions 0.48b0                   pypi_0    pypi
opentelemetry-util-http   0.48b0                   pypi_0    pypi
orjson                    3.10.15                  pypi_0    pypi
overrides                 7.7.0                    pypi_0    pypi
packaging                 23.2                     pypi_0    pypi
pandas                    2.2.3                    pypi_0    pypi
parso                     0.8.4                    pypi_0    pypi
passlib                   1.7.4                    pypi_0    pypi
pathspec                  0.12.1                   pypi_0    pypi
pcodedmp                  1.2.6                    pypi_0    pypi
peewee                    3.17.9                   pypi_0    pypi
peewee-migrate            1.12.2                   pypi_0    pypi
pexpect                   4.9.0                    pypi_0    pypi
pgvector                  0.3.5                    pypi_0    pypi
pillow                    10.3.0                   pypi_0    pypi
pip                       24.0            py312h06a4308_0    defaults
platformdirs              4.2.2                    pypi_0    pypi
playwright                1.49.1                   pypi_0    pypi
pluggy                    1.5.0                    pypi_0    pypi
portalocker               2.10.1                   pypi_0    pypi
posthog                   3.21.0                   pypi_0    pypi
primp                     0.14.0                   pypi_0    pypi
prompt-toolkit            3.0.47                   pypi_0    pypi
propcache                 0.3.0                    pypi_0    pypi
proto-plus                1.26.1                   pypi_0    pypi
protobuf                  4.25.3                   pypi_0    pypi
psutil                    6.0.0                    pypi_0    pypi
psycopg2-binary           2.9.9                    pypi_0    pypi
ptyprocess                0.7.0                    pypi_0    pypi
pure-eval                 0.2.2                    pypi_0    pypi
py-partiql-parser         0.6.1                    pypi_0    pypi
pyarrow                   19.0.1                   pypi_0    pypi
pyasn1                    0.4.8                    pypi_0    pypi
pyasn1-modules            0.4.1                    pypi_0    pypi
pyclipper                 1.3.0.post6              pypi_0    pypi
pycparser                 2.22                     pypi_0    pypi
pydantic                  2.10.6                   pypi_0    pypi
pydantic-core             2.27.2                   pypi_0    pypi
pydantic-settings         2.8.1                    pypi_0    pypi
pydub                     0.25.1                   pypi_0    pypi
pyee                      12.0.0                   pypi_0    pypi
pygments                  2.18.0                   pypi_0    pypi
pyjwt                     2.10.1                   pypi_0    pypi
pymdown-extensions        10.14.2                  pypi_0    pypi
pymilvus                  2.5.0                    pypi_0    pypi
pymongo                   4.11.3                   pypi_0    pypi
pymysql                   1.1.1                    pypi_0    pypi
pypandoc                  1.13                     pypi_0    pypi
pyparsing                 3.1.2                    pypi_0    pypi
pypdf                     4.3.1                    pypi_0    pypi
pypika                    0.48.9                   pypi_0    pypi
pyproject-hooks           1.2.0                    pypi_0    pypi
pytest                    8.3.5                    pypi_0    pypi
pytest-docker             3.1.2                    pypi_0    pypi
python                    3.12.4               h5148396_1    defaults
python-dateutil           2.9.0.post0              pypi_0    pypi
python-dotenv             1.0.1                    pypi_0    pypi
python-engineio           4.11.2                   pypi_0    pypi
python-iso639             2025.2.18                pypi_0    pypi
python-jose               3.4.0                    pypi_0    pypi
python-magic              0.4.27                   pypi_0    pypi
python-multipart          0.0.18                   pypi_0    pypi
python-oxmsg              0.0.2                    pypi_0    pypi
python-pptx               1.0.0                    pypi_0    pypi
python-socketio           5.11.3                   pypi_0    pypi
pytube                    15.0.0                   pypi_0    pypi
pytz                      2024.1                   pypi_0    pypi
pyxlsb                    1.0.10                   pypi_0    pypi
pyyaml                    6.0.2                    pypi_0    pypi
pyzmq                     26.0.3                   pypi_0    pypi
qdrant-client             1.12.2                   pypi_0    pypi
rank-bm25                 0.2.2                    pypi_0    pypi
rapidfuzz                 3.12.2                   pypi_0    pypi
rapidocr-onnxruntime      1.3.24                   pypi_0    pypi
readline                  8.2                  h5eee18b_0    defaults
red-black-tree-mod        1.22                     pypi_0    pypi
redis                     5.2.1                    pypi_0    pypi
regex                     2024.11.6                pypi_0    pypi
requests                  2.32.3                   pypi_0    pypi
requests-oauthlib         2.0.0                    pypi_0    pypi
requests-toolbelt         1.0.0                    pypi_0    pypi
responses                 0.25.7                   pypi_0    pypi
restrictedpython          8.0                      pypi_0    pypi
rich                      13.9.4                   pypi_0    pypi
rsa                       4.9                      pypi_0    pypi
rtfde                     0.1.2                    pypi_0    pypi
s3transfer                0.10.4                   pypi_0    pypi
safetensors               0.5.3                    pypi_0    pypi
scikit-learn              1.5.0                    pypi_0    pypi
scipy                     1.14.0                   pypi_0    pypi
seaborn                   0.13.2                   pypi_0    pypi
sentence-transformers     3.3.1                    pypi_0    pypi
sentencepiece             0.2.0                    pypi_0    pypi
setuptools                69.5.1          py312h06a4308_0    defaults
shapely                   2.0.7                    pypi_0    pypi
shellingham               1.5.4                    pypi_0    pypi
simple-websocket          1.1.0                    pypi_0    pypi
six                       1.16.0                   pypi_0    pypi
smmap                     5.0.2                    pypi_0    pypi
sniffio                   1.3.1                    pypi_0    pypi
soundfile                 0.13.1                   pypi_0    pypi
soupsieve                 2.6                      pypi_0    pypi
spyder-kernels            2.5.2                    pypi_0    pypi
sqlalchemy                2.0.38                   pypi_0    pypi
sqlite                    3.45.3               h5eee18b_0    defaults
stack-data                0.6.3                    pypi_0    pypi
starlette                 0.45.3                   pypi_0    pypi
sympy                     1.13.1                   pypi_0    pypi
tenacity                  9.0.0                    pypi_0    pypi
tensorboard               2.17.0                   pypi_0    pypi
tensorboard-data-server   0.7.2                    pypi_0    pypi
threadpoolctl             3.5.0                    pypi_0    pypi
tiktoken                  0.9.0                    pypi_0    pypi
tk                        8.6.14               h39e8969_0    defaults
tokenizers                0.21.1                   pypi_0    pypi
torch                     2.5.1+cu121              pypi_0    pypi
torchaudio                2.5.1+cu121              pypi_0    pypi
torchvision               0.20.1+cu121             pypi_0    pypi
tornado                   6.4.1                    pypi_0    pypi
tqdm                      4.66.4                   pypi_0    pypi
traitlets                 5.14.3                   pypi_0    pypi
transformers              4.49.0                   pypi_0    pypi
triton                    3.1.0                    pypi_0    pypi
typer                     0.15.2                   pypi_0    pypi
typing-extensions         4.12.2                   pypi_0    pypi
typing-inspect            0.9.0                    pypi_0    pypi
typing-inspection         0.4.0                    pypi_0    pypi
tzdata                    2024.1                   pypi_0    pypi
tzlocal                   5.3.1                    pypi_0    pypi
ujson                     5.10.0                   pypi_0    pypi
unstructured              0.16.17                  pypi_0    pypi
unstructured-client       0.31.1                   pypi_0    pypi
uritemplate               4.1.1                    pypi_0    pypi
urllib3                   2.3.0                    pypi_0    pypi
uvicorn                   0.34.0                   pypi_0    pypi
uvloop                    0.21.0                   pypi_0    pypi
validators                0.34.0                   pypi_0    pypi
watchfiles                1.0.4                    pypi_0    pypi
wcwidth                   0.2.13                   pypi_0    pypi
webencodings              0.5.1                    pypi_0    pypi
websocket-client          1.8.0                    pypi_0    pypi
websockets                15.0.1                   pypi_0    pypi
werkzeug                  3.1.3                    pypi_0    pypi
wheel                     0.43.0          py312h06a4308_0    defaults
wrapt                     1.17.2                   pypi_0    pypi
wsproto                   1.2.0                    pypi_0    pypi
wurlitzer                 3.1.1                    pypi_0    pypi
xlrd                      2.0.1                    pypi_0    pypi
xlsxwriter                3.2.2                    pypi_0    pypi
xmltodict                 0.14.2                   pypi_0    pypi
xxhash                    3.5.0                    pypi_0    pypi
xz                        5.4.6                h5eee18b_1    defaults
yarl                      1.18.3                   pypi_0    pypi
youtube-transcript-api    0.6.3                    pypi_0    pypi
zipp                      3.21.0                   pypi_0    pypi
zlib                      1.2.13               h5eee18b_1    defaults
zstandard                 0.23.0                   pypi_0    pypi

<think>嗯,用户想了解如何部署qwq-32b模型到VLLM平台上。首先,我需要回忆一下VLLM的基本知识。VLLM是一个高效推理和部署框架,支持大规模语言模型,特别是优化了自回归模型的推理速度。那部署模型的一般步骤是什么呢?通常需要安装环境、下载模型、配置参数、启动服务。 接下来,用户提到的qwq-32b模型,我需要确认是否有相关的引用信息。查看用户提供的引用内容,引用[1]提到了模型下载的路径,引用[2]和[3]则涉及部署中的注意事项,比如量化版本和tokenizer的问题。特别是引用[3]提到需要修改tokenizer_config.json文件来解决输出问题,这可能是一个关键步骤。 首先,安装VLLM。用户可能需要安装最新版本,使用pip命令。然后,下载模型,根据引用[1]的路径,使用modelscope或者git lfs下载。需要注意模型文件的大小,引用[2]提到量化版本可能更适合消费级显卡,比如4bit的20G版本,这可能影响用户的选择。 然后配置环境,可能需要设置CUDA环境变量。启动服务时,使用vllm的命令行工具,指定模型路径、tensor并行数等参数。如果遇到不输出<think>的问题,引用[3]的解决方法是修改tokenizer配置文件,删除相关token,这需要用户找到对应的json文件进行调整。 还需要考虑硬件要求,比如GPU显存是否足够。如果用户使用消费级显卡,可能需要量化模型,如引用[2]提到的。此外,部署后如何测试服务,比如使用curl或Python客户端发送请求,验证是否正常工作。 可能用户遇到的问题包括模型路径错误、显存不足、tokenizer配置问题等,需要逐一排查。总结步骤应该是:安装依赖→下载模型→调整配置→启动服务→验证测试。同时,提醒用户注意量化版本的选择和可能的配置调整,确保部署顺利。</think>### 分步教程:使用vLLM部署QwQ-32B模型 #### 一、环境准备 1. 安装CUDA驱动 确保显卡驱动支持CUDA 11.8+,通过命令验证: ```bash nvidia-smi ``` 2. 创建虚拟环境(推荐) ```bash conda create -n vllm python=3.9 conda activate vllm ``` #### 二、模型下载 1. 通过ModelScope获取完整模型(需约60GB显存): ```bash pip install modelscope python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('Qwen/QwQ-32B', cache_dir='./QwQ-32B')" [^1] ``` 2. (可选)下载4bit量化版本(约20GB): ```bash ollama pull QwQ-32B:4bit ``` #### 三、vLLM安装与配置 1. 安装最新版vLLM: ```bash pip install vllm ``` 2. 修改tokenizer配置(解决不输出<think>问题): ```bash vim ./QwQ-32B/tokenizer_config.json # 删除"<think>"相关配置项[^3] ``` #### 四、启动推理服务 1. 基础启动命令(需A100 80G*2): ```bash python -m vllm.entrypoints.openai.api_server \ --model ./QwQ-32B \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.95 ``` 2. 消费级显卡启动(如RTX 3090 24G*2): ```bash python -m vllm.entrypoints.openai.api_server \ --model QwQ-32B:4bit \ --quantization awq \ --dtype half \ --tensor-parallel-size 2 ``` #### 五、服务验证 1. Python客户端测试: ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1") response = client.chat.completions.create( model="QwQ-32B", messages=[{"role": "user", "content": "解释量子纠缠"}] ) print(response.choices[0].message.content) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Open-source-AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值