《RabbitMQ系列教程-第四章-01-RabbitMQ工作模式之Simple模式》_rabbitmq 设置队列为simple模式 多台部署


RabbitMQ工作模式之Simple模式

4.1.1 简介

simple模式就是我们之前做的快速入门案例

在这里插入图片描述
简单模式中表现为一个生产者对应一个消费者,生产者(Producer)生产消息发送到队列,消费者(Consumer)监听此队列,进行消息的消费;

Simple模式官网介绍:https://www.rabbitmq.com/tutorials/tutorial-one-java.html

4.1.2 生产者
package com.lscl.rabbitmq;

import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

public class Producer01\_Hello {

    public static void main(String[] args) throws Exception{

        // 1. 创建连接工厂
        ConnectionFactory factory = new ConnectionFactory();

        // 2. 设置连接参数
        factory.setHost("192.168.133.147");
        factory.setPort(5672);
        factory.setVirtua
### 使用 vLLM Docker 镜像运行 Qwen2 模型 为了在内网环境中通过Docker和vLLM框架部署并运行Qwen2模型,需遵循特定步骤来准备环境、拉取镜像以及配置必要的启动参数。 #### 准备工作 确保本地机器上已预先安装好Docker服务,并且对于GPU加速支持的情况,还需确认CUDA环境的正确设置。此外,准备好用于存储模型文件的目标路径也是必不可少的一部分[^1]。 #### 获取vLLM镜像 采用阿里云提供的官方仓库地址获取适配于Qwen系列模型的vLLM版本镜像。这一步骤可通过执行`docker pull`命令完成,具体操作如下所示: ```bash docker pull registry.cn-hangzhou.aliyuncs.com/isdockers/vllm-openai:v0.6.1 ``` 此命令会从指定位置下载对应标签(`v0.6.1`)下的最新构建好的vLLM镜像至本机缓存中待后续调用[^3]。 #### 启动容器实例 当一切就绪之后,则可以通过定义一系列选项来创建一个新的容器实例以加载所需的Qwen2模型。下面给出了一组典型的命令行参数组合方式作为参考: ```bash docker run --rm \ -v /home/user/models:/data \ -p host_port:container_port \ --ipc=host \ --gpus '"device=device_id"' \ image_name \ --dtype float_type \ --served-model-name model_name \ --gpu-memory-utilization utilization_ratio \ --model path_to_model_directory ``` 其中, - `-v` 参数指定了宿主机上的目录映射到容器内部的位置; - `-p` 设置端口转发规则以便外部访问API接口; - `--ipc=host` 和 `--gpus` 分别用来优化进程间通信效率和支持多GPU场景下资源分配策略; - 而最后几个带有前缀双破折号 (`--`) 的部分则是传递给应用程序本身的初始化指令集,包括但不限于数据类型精度设定、提供在线服务使用的名称标识符、控制单张显卡内存利用率的比例值以及实际存放预训练权重文件夹的具体路径等细节说明。 特别需要注意的是,`--served-model-name` 参数不可或缺,它决定了客户端发起预测请求时所依据的服务名;另外,选用经过量化处理过的轻量级变体有助于降低计算成本的同时保持较高的性能表现水平[^4]。 ```python import requests response = requests.post( 'http://localhost:host_port/v1/completions', json={ "prompt": "你好", "max_tokens": 50, "temperature": 0.7, "top_p": 0.95, "n": 1, "stop": ["\n"], "logprobs": None, "echo": False } ) print(response.json()) ``` 上述代码片段展示了如何向已部署完毕的服务发送HTTP POST请求从而实现交互式对话功能演示的目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值