Qwen3 32B大模型推理实战:vLLM与Docker高效部署指南

大模型推理:Qwen3 32B vLLM Docker本地部署 使用Docker和vllm在本地部署Qwen3系列模型,同时给出其他模型部署框架参考,比如MindIE、Sglang等 阅读详情

1. 为什么选择vLLM和Docker来部署Qwen3 32B?

如果你最近在关注大模型,肯定听说过通义千问团队开源的Qwen3系列。这个系列里,32B参数的版本是个“甜点级”选手——它不像那些动辄几百B的庞然大物那样对硬件有近乎变态的要求,同时又比7B、14B的模型在复杂推理和代码生成上强出一大截,非常适合想在自己机器上跑一个“聪明”模型的开发者和研究者。

但问题来了,32B模型也不算小,直接加载到显存里,再想搞个API服务方便调用,可不是件简单的事。我自己就踩过坑:一开始用最基础的Transformers库加载,光是加载模型就得好几分钟,推理速度慢不说,显存管理也让人头疼,多用户并发请求更是想都别想。直到我遇到了 vLLM 和 Docker 这对“黄金搭档”,部署体验才发生了质的变化。

简单来说,vLLM 是一个专门为高通量、低延迟的大语言模型推理而设计的服务引擎。它的核心秘密武器叫 PagedAttention,你可以把它想象成电脑操作系统的虚拟内存管理。传统方式加载模型,就像你把一整本厚厚的书全部摊开在桌面上,占地方不说,找内容也慢。而PagedAttention则把这本书分成了很多“页”,只把当前需要的那几页放在桌面上(GPU显存),其他的先收在书架里(CPU内存)。这样,同样大小的桌子(显存),你就能同时翻开好几本书(处理多个用户请求),大大提升了显存利用率和并发能力。实测下来,用vLLM服务Qwen3 32B,吞吐量能提升好几倍,延迟也稳定得多。

那 Docker 又起什么作用呢?它解决的是环境一致性和部署复杂性的问题。大模型依赖的CUDA版本、Python包、系统库五花八门,在你的开发机上跑得好好的,换到服务器上可能就各种报错。Docker把模型、vLLM引擎、以及所有依赖环境打包成一个独立的“集装箱”(镜像)。你只需要一条命令,这个集装箱就能在任何安装了Docker和NVIDIA驱动的机器上启动并运行,完全不用担心环境冲突。而且,利用Docker,我们可以非常方便地做资源隔离、端口映射和持久化存储,管理起来特别清爽。

所以,把vLLM和Docker结合起来部署Qwen3 32B,你得到的是一个开箱即用、高性能、易管理的模型推理服务。接下来,我就手把手带你走一遍从零开始的完整部署流程,我会把每个步骤都讲透,包括我踩过的那些坑和优化技巧。

2. 部署前的环境准备与检查

工欲善其事,必先利其器。在拉取镜像和启动容器之前,我们必须确保宿主机(也就是你的物理服务器或电脑)的环境是OK的。这一步看似基础,但很多问题都出在这里,务必仔细。

2.1 硬件与驱动:你的显卡准备好了吗?

Qwen3 32B模型采用BF16精度加载,对显存的需求大致是参数量的2倍左右,也就是需要大约64GB的GPU显存。因此,单张消费级显卡(如24GB的4090)是吃不消的。常见的部署方案是使用单机多卡,比如2张或4张4090。

  • 显卡驱动:首先,用 nvidia-smi 命令检查驱动是否安装。输出应该能看到你的GPU列表和驱动版本。我推荐使用较新的驱动,比如545以上版本,兼容性更好。
  • CUDA Toolkit:vLLM依赖于CUDA。虽然Docker镜像里会自带CUDA,但宿主机也需要安装NVIDIA Container Toolkit来让Docker容器能调用GPU。所以,你不需要在宿主机上完整安装CUDA开发环境,但需要确保有基础的CUDA驱动支持。

2.2 Docker与NVIDIA Container Toolkit安装

这是让Docker能用上GPU的关键。如果你已经安装好Docker,可以跳过第一步。

  1. 安装Docker:以Ubuntu系统为例,可以通过官方脚本快速安装。

    curl -fsSL https://get.docker.com -o get-docker.sh
    sudo sh get-docker.sh
    

    安装后,记得将当前用户加入docker组,这样就不用每次都加 sudo 了。

    sudo usermod -aG docker $USER
    

    然后需要退出当前终端重新登录,或者执行 newgrp docker 让组权限生效。

  2. 安装NVIDIA Container Toolkit:这是NVIDIA官方提供的工具集,让Docker容器能够使用GPU。

    # 添加仓库和GPG密钥
    distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
    curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
    curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    
    # 更新并安装
    sudo apt-get update
    sudo apt-get install -y nvidia-container-toolkit
    
    # 配置Docker使用nvidia作为默认runtime
    sudo nvidia-ctk runtime configure --runtime=docker
    sudo systemctl restart docker
    

    安装完成后,运行 docker run --rm --runtime=nvidia --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi。如果能看到和宿主机 nvidia-smi 一样的GPU信息输出,恭喜你,Docker GPU环境配置成功!

2.3 模型下载:国内用户的加速技巧

vLLM Docker镜像本身不包含模型,启动时需要将本地的模型目录挂载到容器内。所以我们需要先把Qwen3-32B的模型文件下载到服务器上。

官方模型存储在Hugging Face上,但对于国内用户,直接下载可能非常慢。这里强烈推荐使用国内的镜像站:

  • 魔塔社区 (ModelScope):这是阿里云旗下的模型社区,对Qwen系列的支持原生且速度快。
    # 使用modelscope库下载
    pip install modelscope
    from modelscope import snapshot_download
    model_dir = snapshot_download('Qwen/Qwen3-32B', cache_dir='/root/models')
    
  • HF Mirror:这是一个稳定的Hugging Face国内镜像。
    # 在下载前设置环境变量
    export HF_ENDPOINT=https://hf-mirror.com
    # 然后使用huggingface-cli下载
    huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen3-32B --local-dir /root/models/Qwen3-32B
    

我个人的习惯是使用ModelScope,速度稳定,而且和Qwen同属阿里系,版本同步及时。下载完成后,你的模型目录结构应该是这样的:/root/models/Qwen3-32B 下面有 config.json, model.safetensors, tokenizer.json 等文件。

注意:请确保存放模型的磁盘有足够的空间,Qwen3-32B的模型文件大约在60GB左右。

3. 核心实战:编写并解析Docker启动命令

环境就绪,模型在手,现在就到了最核心的一步:启动vLLM服务。下面这条命令是我经过多次测试和调优后总结出来的,适用于4张4090显卡的环境。我们把它拆开揉碎了讲。

docker run -d \
  --runtime nvidia \
  --gpus 4 \
  --ipc=host \
  -p 8000:8000 \
  -v /root/models:/root/models \
  -e "PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128" \
  --name=Qwen3-32b \
  vllm/vllm-openai:v0.8.5 \
  --model /root/models/Qwen3-32B \
  --trust-remote-code \
  --served-model-name Qwen3-32b \
  --max-num-seqs 10 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.98 \
  --enforce-eager \
  --disable-custom-all-reduce \
  --enable-auto-tool-choice \
  --tool-call-parser hermes \
  --compilation-config 0 \
  --enable-reasoning \
  --reasoning-parser deepseek_r1 \
  --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":40960}' \
  --max-model-len 98304

别怕,我们一部分一部分来看:

A. Docker运行参数(docker run 部分):

  • -d:后台运行容器。
  • --runtime nvidia 和 --gpus 4:指定使用NVIDIA运行时,并允许容器使用全部4张GPU。
  • --ipc=host:这是一个重要优化项。它让容器使用宿主机的IPC(进程间通信)命名空间,在多GPU张量并行时,能显著提升GPU间通信效率,避免内存复制带来的性能损失。
  • -p 8000:8000:将容器的8000端口映射到宿主机的8000端口,这样我们就能通过 http://你的服务器IP:8000 来访问vLLM的API了。
  • -v /root/models:/root/models:挂载卷。把宿主机下载好的模型目录 /root/models,映射到容器内的相同路径。这样容器就能读取到模型文件。
  • -e "PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128":设置PyTorch的CUDA内存分配器参数。这个值(128MB)可以减少内存碎片,在长时间运行或处理变长序列时更稳定。这是一个经验值,如果遇到显存不足的错误,可以尝试调小。
  • --name=Qwen3-32b:给容器起个名字,方便管理。

B. vLLM服务参数(镜像名之后的部分):

  • vllm/vllm-openai:v0.8.5:使用的vLLM镜像版本。建议使用0.8.5或更高,对Qwen3的支持更完善。
  • --model /root/models/Qwen3-32B:指定容器内模型文件的路径。
  • --trust-remote-code:Qwen模型需要加载自定义的代码,这个参数必须加上。
  • --served-model-name Qwen3-32b:API中使用的模型别名。
  • --max-num-seqs 10:最大并发序列数。这是控制并发的关键参数。设为10意味着最多可以同时处理10个用户的生成请求(注意是“生成”阶段,预处理可以更多)。这个值需要根据你的GPU显存和请求长度来调整,设得太高会OOM(显存溢出),太低则无法充分利用GPU。
  • --tensor-parallel-size 4:张量并行度。必须等于你使用的GPU数量(这里是4)。模型会被切分到4张卡上,共同完成计算。
  • --gpu-memory-utilization 0.98:显存利用率目标。vLLM会尝试将98%的显存用于模型权重和KV Cache。设置得高可以提升吞吐量,但要给系统操作留点余地,0.95-0.98是个安全范围。
  • --enforce-eager 和 --disable-custom-all-reduce:这两个是性能调优参数。--enforce-eager 禁用图编译模式,在某些环境下兼容性更好。--disable-custom-all-reduce 禁用自定义的All-Reduce通信,使用PyTorch原生的,在多卡非NVLink直连的拓扑下有时更稳定。

C. Qwen3特色功能参数: 这部分是发挥Qwen3 32B强大能力的关键。

  • --enable-auto-tool-choice 和 --tool-call-parser hermes:启用工具调用(Tool Calling)。这是构建AI Agent的基础。Qwen3系列使用 hermes 格式的tool call,开启后模型能在回复中结构化地输出调用工具所需的参数。
  • --enable-reasoning 和 --reasoning-parser deepseek_r1:启用推理模式。这是Qwen3的一大亮点!开启后,对于复杂问题,模型会先输出一段“思考过程”(以 /think 开头),然后再给出最终答案。目前解析器使用 deepseek_r1 格式。
  • --rope-scaling 和 --max-model-len:长上下文支持。Qwen3 32B原生支持128K上下文。rope-scaling 参数设置了位置编码的外推方法(这里用yarn),max-model-len 设置为98304(96K),是因为在4*24GB显存下,128K会爆显存,96K是一个在性能和长度间平衡的值。如果你显存更大,可以尝试调高。

执行这条命令后,用 docker logs -f Qwen3-32b 查看日志。看到类似“Uvicorn running on http://0.0.0.0:8000”和“Model loaded successfully”的信息,就说明服务启动成功了!

4. 性能调优与高级配置指南

服务跑起来只是第一步,如何让它跑得更快、更稳、更能扛事,才是体现功力的地方。这一章我们深入聊聊调优。

4.1 理解并调整关键性能参数

启动命令中的参数不是一成不变的,你需要根据实际场景微调。

  • --max-num-seqs(最大并发数):这是影响吞吐量(Throughput)的核心。它限制了同时进行的生成任务数。提高这个数可以提升GPU利用率,但每个请求可用的KV Cache空间会变少,可能导致长文本生成变慢甚至失败。我的调优经验是:先设一个保守值(比如4),用压力测试工具(如 locust)模拟并发请求,同时用 nvidia-smi 观察显存使用。如果显存还有不少盈余,且GPU利用率没打满,就逐步增加这个值,直到显存使用达到 gpu-memory-utilization 设定的目标附近。
  • --gpu-memory-utilization(显存利用率):通常0.95是一个安全且高效的起点。如果你发现服务频繁触发OOM,尤其是在处理一批长上下文请求时,可以适当调低,比如0.9,给系统操作留出更多空间。反之,如果显存很充裕,可以调到0.98追求极限吞吐。
  • --tensor-parallel-size(张量并行):必须等于使用的物理GPU数。如果你的卡是NVLink互连的,并行效率会非常高。如果不是(比如普通的PCIe连接),通信开销会大一些,此时--disable-custom-all-reduce这个参数可能更有帮助。
  • --max-model-len(最大模型长度):这直接决定了单次请求能处理的最大token数。它和显存消耗是平方级关系。将长度从32K提升到96K,KV Cache的显存占用会增加近9倍。所以,如果你主要处理短对话,完全可以把它设小(如8192),这样就能大幅增加 --max-num-seqs,提升短文本并发能力。这是一个典型的吞吐 vs. 延迟 vs. 上下文长度的权衡。

4.2 监控与诊断:你的服务健康吗?

部署后不能当甩手掌柜,需要一些监控手段。

  1. 基础监控:

    • docker stats Qwen3-32b:查看容器的CPU、内存使用情况。
    • nvidia-smi:实时查看GPU利用率、显存占用、温度。理想状态下,在持续处理请求时,GPU-Util应该保持在较高水平(如70%以上)。
    • docker logs --tail 100 Qwen3-32b:查看容器最新日志,关注有无WARNING或ERROR。
  2. vLLM内置指标:vLLM提供了Prometheus格式的监控指标端点。在启动命令中,你可以添加 --metrics-port 8001 参数,并映射端口 -p 8001:8001。然后访问 http://你的IP:8001/metrics,就能看到丰富的指标,如:

    • vllm_num_requests_running:当前正在运行的请求数。
    • vllm_request_latency_seconds:请求延迟分布。
    • vllm_gpu_cache_usage_ratio:GPU KV Cache使用率。 这些数据可以接入Grafana等看板,进行长期监控和告警。
  3. 性能剖析:如果发现性能不及预期,可以使用vLLM的剖析功能。在请求的API参数中加入 "debug_options": {"profile": true},vLLM会在日志中输出该请求在各阶段的耗时详情,帮助你定位瓶颈是在预处理、模型计算还是采样阶段。

4.3 生产环境部署考量

在实验室跑通和在生产环境稳定运行是两回事。

  • 资源隔离:不建议在运行其他重要服务的机器上直接部署。如果条件允许,使用单独的物理机或虚拟机。在Kubernetes中,可以为Pod设置准确的GPU资源请求和限制。
  • 高可用与负载均衡:单点服务总有宕机风险。可以考虑部署2个或更多相同的vLLM容器实例,前面用Nginx或HAProxy做负载均衡。这样既能实现高可用,也能水平扩展吞吐量。注意,模型本身是只读的,多个实例可以挂载同一个网络存储(如NFS)上的模型目录。
  • API安全与限流:vLLM的API默认没有认证。在生产环境,一定要通过反向代理(如Nginx)添加API密钥认证、IP白名单、请求限流(rate limiting)等安全措施。否则你的算力可能被恶意刷爆。
  • 日志与告警:将Docker容器的日志收集到ELK或Loki等集中日志系统。针对关键错误(如OOM、健康检查失败)和性能指标(如延迟飙升、GPU利用率持续过低)设置告警。

5. 如何使用部署好的Qwen3 32B API服务?

服务部署并优化好后,我们来看看怎么用它。vLLM提供了与OpenAI API兼容的接口,这意味着你可以用任何OpenAI客户端库来调用,集成成本极低。

5.1 基础聊天补全接口调用

最常用的就是 /v1/chat/completions 端点。下面是一个Python示例:

import openai

# 配置客户端,指向我们本地部署的vLLM服务
client = openai.OpenAI(
    api_key="no-key-required", # vLLM默认不需要key,生产环境请务必在前端网关设置
    base_url="http://你的服务器IP:8000/v1"
)

# 一个简单的聊天请求
response = client.chat.completions.create(
    model="Qwen3-32b", # 必须和启动命令中的 --served-model-name 一致
    messages=[
        {"role": "system", "content": "你是一个乐于助人的AI助手。"},
        {"role": "user", "content": "用Python写一个快速排序函数,并加上注释。"}
    ],
    temperature=0.7, # 创造性,越高输出越随机
    top_p=0.8,       # 核采样参数,与temperature配合使用
    max_tokens=1024, # 生成的最大token数
    stream=False     # 是否使用流式输出
)

print(response.choices[0].message.content)

5.2 启用推理模式与工具调用

Qwen3 32B的亮点功能可以通过API参数轻松触发。

  • 触发推理模式:在消息中插入特定的“思考”指令。根据官方推荐,使用非推理模式(普通对话)和推理模式(复杂问题)的参数略有不同。

    # 对于需要深度推理的复杂问题,可以这样构造消息
    messages_for_reasoning = [
        {"role": "user", "content": "某池塘,第一天荷花开放的数量是1朵,之后每天开放的数量是前一天的2倍。请问第30天,池塘里总共有多少朵荷花?请一步步思考。"}
    ]
    # 使用推理推荐的参数
    response = client.chat.completions.create(
        model="Qwen3-32b",
        messages=messages_for_reasoning,
        temperature=0.6,  # 推理模式建议0.6,输出更确定
        top_p=0.95,
        presence_penalty=0.5,
        max_tokens=2048
    )
    # 模型的回复可能会先包含一段 /think 开头的思考过程,再给出最终答案。
    
  • 工具调用:要使用工具调用,你需要在请求中传入 tools 参数,列出可用的工具定义(遵循OpenAI的function calling格式)。当模型认为需要调用工具时,它会在回复中通过 tool_calls 字段返回。

    response = client.chat.completions.create(
        model="Qwen3-32b",
        messages=[{"role": "user", "content": "今天北京天气怎么样?"}],
        tools=[{ # 定义一个查询天气的工具
            "type": "function",
            "function": {
                "name": "get_weather",
                "description": "获取指定城市的天气信息",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "location": {"type": "string", "description": "城市名"}
                    },
                    "required": ["location"]
                }
            }
        }],
        tool_choice="auto" # 由模型决定是否调用工具
    )
    message = response.choices[0].message
    if message.tool_calls:
        print(f"模型想调用工具:{message.tool_calls[0].function.name}")
        print(f"参数:{message.tool_calls[0].function.arguments}")
        # 在这里,你的程序可以真正去执行这个工具(比如调用天气API),然后将结果作为新的消息附加,再发送给模型。
    

5.3 流式输出与长上下文处理

  • 流式输出:对于需要长时间生成的文本,或者想构建打字机效果的应用,可以使用流式响应。将 stream=True,然后迭代返回的数据块。

    stream_response = client.chat.completions.create(
        model="Qwen3-32b",
        messages=[{"role": "user", "content": "讲述一个关于星辰大海的科幻短故事。"}],
        stream=True,
        max_tokens=500
    )
    for chunk in stream_response:
        if chunk.choices[0].delta.content is not None:
            print(chunk.choices[0].delta.content, end="", flush=True)
    
  • 长上下文处理:虽然我们设置了 --max-model-len 98304,但处理接近10万token的文本对显存压力极大。在实际应用中,对于超长文档问答,更常见的做法是结合检索增强生成(RAG)技术,只将最相关的文档片段送入模型,而不是整个文档。直接处理满长度上下文,更多用于对超长文本进行总结、分析等单一任务。

经过以上步骤,你应该已经拥有了一个高性能、可调优、功能完整的Qwen3 32B大模型推理服务。从环境准备到生产级调优,每一个环节的细节都决定了最终服务的稳定性和效率。记住,没有一劳永逸的配置,最好的参数来自于对你自身业务负载的持续观察和测试。

Docker+vLLM内网离线部署Qwen3 流程 本文介绍了在CentOS 7系统下进行VLLM容器化部署Qwen3-32B大模型的内网离线方案。首先需准备Nvidia显卡驱动、CUDA 12.4和Docker环境。通过联网机器拉取vllm/vllm-openai镜像并导入内网服务器,同时从魔塔社区下载模型文件。部署时使用docker run命令启动容器,配置了GPU资源、内存共享、端口映射等参数,特别指定了模型路径、并行计算、内存利用率等关键参数。该方案实现了大模型在内网环境的安全高效部署,适用于需要离线运行的AI推理场景。 阅读详情

相关推荐

Qwen3-32B大模型推理实战:vLLM与Docker的高效本地部署指南

本文详细介绍了Qwen3-32B大模型的本地部署实战,重点讲解了如何利用vLLM和Docker实现高效部署。从硬件准备、环境配置到模型下载和Docker部署,提供了完整的操作指南和性能调优建议,帮助开发者快速掌握这一先进的大模型技术。

weixin_42525005的博客 435

使用vLLM与Docker在Ubuntu 22.04上离线部署Qwen3-4B模型:多卡配置完整指南

在大模型部署过程中,环境配置和依赖管理常常是令人头疼的问题。本文将详细介绍如何在Ubuntu 22.04系统上,使用Docker和vLLM离线部署Qwen3-4B模型,特别针对多GPU卡的环境进行优化配置。

东方佑 3568

开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-Docker(二)

通过容器化技术整合高性能推理框架vLLM与Qwen3-8B模型,可实现资源高效利用、灵活部署及推理性能优化,为大模型本地化应用提供轻量化解决方案

以微薄之力,予他人些许温暖. 3万+

基于docker部署vllm运行Qwen3模型

本文介绍了使用Docker部署vLLM推理服务的详细步骤,支持Qwen3系列模型。主要内容包括:1) 拉取vLLM Docker镜像;2) 提供了Qwen3-14B-AWQ和Qwen3-VL-8B-AWQ-INT4两种模型的启动命令,包含端口映射、显存控制等关键参数;3) 给出了对应的Python测试代码示例,展示如何通过OpenAI兼容API调用模型进行文本生成和视觉内容分析;4) 详细解释了各项运行参数的含义,如GPU使用、模型精度、上下文长度等配置项。该方案可实现高效的模型推理服务部署。

培根芝士的专栏 1118

数据基础设施建设任务中的技术名词解析

近日,国家数据局确定了18个数据基础设施建设任务(先行先试)承担地区,建设任务内容为:数场、数据空间、数据原件、隐私计算、数联网、区块链。这些概念都有什么样的内涵,他们的相互关系是怎样的?

五角大寨 5313

《通信工程施工与管理》

制作馈线接头必须使用专用的工具,专用工具包括:馈线切割刀、馈线安全刀、小金属丝毛刷、固定尺寸或大号活动扳手、小号扁锉刀、细齿小手锯、接头扩孔器、3M防水胶或防水接头盒;如图所示,详情如表所示。

2302_78710464的博客 1654

Docker+vLLM内网离线部署Qwen3教程,大模型入门到精通,收藏这篇就足够了!

该文章出于传递知识而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。

瓦罗兰特顶级C位的博客 5970

发那科 Fanuc PLC 报文通讯,报文解析。附源程序

发那科 Fanuc PLC 报文通讯,最详细的发那科 PLC报文解析,不再局限在官方提供的库,也不用再局限在windows平台。

ITOfDragon的博客 1749

Qwen3 32B vLLM大模型推理教程:Docker本地部署,实现高效AI推理!

文章摘要:Qwen3开源了8个不同规模的模型,包括MOE和Dense架构,支持混合思维模式、119种语言和增强的Agent能力。部署环境推荐使用单机4张4090显卡运行BF16格式的Qwen3-32B模型,支持10并发96k上下文。文章详细介绍了Docker部署命令及参数配置,并对比了推理模式和非推理模式的推荐参数。此外,还提供了MOE架构的其他部署方案,如vLLM、sglang等,以及Qwen3-32B模型的训练过程,包括预训练和后训练阶段。最后,作者分享了AI大模型的学习路径和免费资源获取方式。

2401_85375151的博客 4297

基于Requests的百度图片搜索爬取技术详解

本文介绍了一种高效获取百度图片搜索数据的混合请求爬虫技术。该技术结合HTML解析与JSON API调用,通过分析百度图片搜索的网络通信模式,实现了首页HTML解析获取初始参数、后续页面直接调用JSON接口的双重机制。系统采用模块化设计,包含Cookies解析、智能请求分发、数据提取、图片下载等核心模块,支持自定义关键词和爬取页数配置。关键技术包括动态参数管理、正则表达式提取、JSON数据处理等,相比传统爬虫方法具有效率高、资源消耗低的优势,为计算机视觉研究提供了可靠的大规模图片数据采集方案。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 424

vLLM+Qwen3-32B Docker内网部署全教程:从环境准备到API调用!

本文详细介绍了如何使用Docker在内网环境中部署vLLM框架和Qwen3-32B大模型。内容包括环境准备、镜像拉取、模型文件下载、容器运行及参数配置,以及API调用示例。通过容器化技术,实现了环境隔离、便捷迁移、轻松扩展和统一管理,为开发者提供了一种高效的大模型部署方案。

2401_85328934的博客 4210

WPF在特定领域的应用:打造一款专业的图像编辑工具

WPF在特定领域的应用:打造一款专业的图像编辑工具,在软件开发的广阔领域中,Windows Presentation Foundation(WPF)以其强大的图形渲染能力和丰富的用户界面控件,为开发者提供了构建高性能、美观应用程序的平台。图像编辑工具作为一种对图形处理要求极高的应用类型,WPF 的特性使其成为理想的选择。本文将深入探讨如何使用 WPF 打造一款专业的图像编辑工具,涵盖从基础概念到实际代码实现的各个方面。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 6万+

Qwen3-32B镜像部署与高效推理实战指南

详解Qwen3-32B大模型的镜像获取、硬件配置、量化推理及业务集成,覆盖Docker拉取、vLLM加速与生产级架构设计,助力企业构建高性能本地AI服务。

weixin_30533301的博客 827

基于SiamFC的红外目标跟踪

初始化阶段:在第一帧中,通过用户标注获得目标框,从目标区域中提取一个固定大小的模板(称为 exemplar)。搜索阶段:在后续帧中,在以当前目标中心为中心的较大区域(称为 instance)内进行搜索,将模板与搜索区域通过卷积操作得到响应图。位置更新:在响应图中找到峰值位置,并转换到原图坐标,用以更新目标中心。部分实现中还会考虑多尺度搜索和目标尺寸更新。import cv2# 定义 SiamFC 简易网络(示例)# 特征提取部分,注意红外图像通常为单通道,使用较少的卷积核数提高实时性。

weixin_43745234的博客 775

实战篇| app爬虫不用真机

之前写过一篇基于真机app爬虫《App爬虫实战篇-以华为真机手机爬取集换社的app为例》,如果大家有用真机爬虫的经历,会深刻认识到真的不方便,一是自己的手机,经常会被电话、微信等打断,二是闲置手机,面对小批量数据还能勉强,大批量爬虫,会导致成本指数级上升,并且控制起来相对麻烦。以下就是常见的模拟器。emulator -avd my_avd -no-snapshot-save # 启动时不保存 snapshot。emulator -avd my_avd -wipe-data # 清除数据(恢复到出厂)

youbingchen的博客 597

Docker部署Qwen3-8B与vLLM推理加速实践

基于Docker容器化技术整合vLLM框架与Qwen3-8B大模型,实现高效推理与资源优化,支持混合推理模式和长文本处理,为本地化AI应用提供轻量、可扩展的部署方案。

weixin_36289813的博客 861

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Docker+vLLM加速Qwen3-8B推理实战

结合Docker与vLLM框架部署Qwen3-8B模型,通过容器化实现高效推理与资源优化,支持混合推理模式和低延迟响应,为本地大模型应用提供可扩展的轻量化解决方案。

weixin_42284380的博客 868

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Qwen2.5-7B推理加速实战|Docker+ vLLM部署指南

GPU 驱动与容器运行时必须正确安装模型路径挂载需准确映射到容器内部使用可避免部分显卡兼容性问题合理设置和dtype以平衡性能与显存。

weixin_35950531的博客 916

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Qwen3-32B Docker镜像5分钟快速部署指南

通过阿里云官方Docker镜像,可在5分钟内完成Qwen3-32B大模型的本地化部署,支持128K上下文与INT4量化,适用于金融、医疗等高隐私场景,实现高效、安全的私有化AI服务。

weixin_35749545的博客 679

一键部署Qwen2.5-7B-Instruct大模型|vLLM+Docker高效推理方案

return f"目前{city}多云到晴,气温28~31℃,吹轻微的偏北风。tools = [{"description": "获取指定位置的当前天气","city": {"description": "查询当前天气的城市,例如:深圳"},}]本文详细介绍了如何通过快速部署 Qwen2.5-7B-Instruct 模型,并实现完整的推理服务与前端交互。维度传统部署本文方案部署复杂度高(需手动安装依赖)极低(一键运行容器)推理性能一般高吞吐、低延迟工具调用支持需自行封装。

weixin_31176789的博客 887

Qwen3-32B Docker镜像部署:5分钟跑起大模型

通过阿里云官方Docker镜像,快速在本地服务器部署Qwen3-32B大模型,支持128K长上下文与INT4量化,适用于金融、医疗等高隐私场景,实现安全可控、高效扩展的私有化AI服务。

weixin_29885875的博客 769

从零开始部署Qwen3-32B:Docker安装与配置全攻略

本文详细介绍如何使用Docker在本地GPU服务器上部署通义千问Qwen3-32B大模型,涵盖环境准备、镜像拉取、容器运行、性能优化及常见问题解决方案,并探讨其在企业AI架构中的集成应用。

weixin_36474001的博客 1052

Qwen3-32B与Docker容器化部署的最佳实践

本文介绍如何使用Docker容器化部署320亿参数的大模型Qwen3-32B,涵盖镜像构建、推理服务编写、资源隔离与性能优化等关键技术,实现高性能、可扩展的生产级AI服务。

weixin_35189483的博客 693

Qwen3-32B Docker镜像使用指南

本文介绍如何使用Docker快速部署Qwen3-32B大模型,涵盖镜像拉取、容器启动、硬件配置、性能优化及生产环境架构建议。通过容器化技术实现模型的高效推理与可移植性,支持128K长上下文和量化部署,助力AI服务快速上线。

weixin_30820933的博客 832
上一篇: [FOC-Simulink] 永磁同步电机无传感矢量控制的IF强拖启动与平滑切换策略
下一篇: [RDK X5][实战]从零上手:地瓜机器人RDK X5的快速配置与核心功能验证
糖果HTML
博客等级 码龄3年 76粉丝 1357原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值