RabbitMQ--Remote procedure call (RPC)（六）

于 2017-04-12 15:06:00 发布
阅读量245 收藏
点赞数
文章标签： 大数据 java json
原文链接：https://my.oschina.net/flyUnique/blog/877623
版权

远程过程调用（RPC）

 

我们学习了如何使用工作队列在多个工作人员之间分配耗时的任务。

但是如果我们需要在远程计算机上运行功能并等待结果怎么办？那是一个不同的故事。此模式通常称为远程过程调用或RPC。

在本教程中，我们将使用RabbitMQ构建一个RPC系统：一个客户端和一个可扩展的RPC服务器。由于我们没有任何值得分发的耗时任务，我们将创建一个返回斐波纳契数字的虚拟RPC服务。

客户端界面

为了说明如何使用RPC服务，我们将创建一个简单的客户端类。它将公开一个名为call的方法，该方法发送RPC请求并阻塞，直到收到答案：

FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);
关于RPC的注释

虽然RPC是一个很常见的计算模式，但它经常被批评。当程序员不知道函数调用是本地函数还是缓慢的RPC时，会出现问题。这样的混乱导致了一个不可预知的系统，并增加了调试的不必要的复杂性。而不是简化软件，滥用RPC可能导致不可维护的代码。

铭记这一点，请考虑以下建议：

  • 确保显而易见哪个函数调用是本地的，哪个是远程的。
  • 记录您的系统。使组件之间的依赖关系清除。
  • 处理错误情况。当RPC服务器长时间停机时，客户端应该如何反应？

当有疑问避免RPC。如果可以的话，你应该使用异步管道 - 而不是类似RPC的阻塞，结果被异步推送到下一个计算阶段。

回调队列

一般来说RPC在RabbitMQ上很容易。客户端发送请求消息，服务器回复响应消息。为了收到响应，我们需要发送一个'回调'队列地址与请求。我们可以使用默认队列（在Java客户端中是排他性的）。我们来试试吧

callbackQueueName = channel.queueDeclare().getQueue();

BasicProperties props = new BasicProperties
                            .Builder()
                            .replyTo(callbackQueueName)
                            .build();

channel.basicPublish("", "rpc_queue", props, message.getBytes());

// ... then code to read a response message from the callback_queue ...
消息属性

AMQP 0-9-1协议预先定义了一组随附消息的14个属性。大多数属性很少使用，除了以下内容：

  • deliveryMode：将消息标记为持久性（值为2）或transient（任何其他值）。
  • contentType：用于描述mime类型的编码。例如对于经常使用的JSON编码，将此属性设置为：application / json是一个很好的做法。
  • replyTo：通常用来命名一个回调队列。
  • correlationId：用于将RPC响应与请求相关联。

我们需要这个新的导入：

import com.rabbitmq.client.AMQP.BasicProperties;

相关标识（Correlation Id）

在上面提出的方法中，我们建议为每个RPC请求创建一个回调队列。这是非常低效的，但幸运的是有一个更好的方法 - 让我们为每个客户端创建一个回调队列。

这引发了一个新的问题，在该队列中收到响应，响应所属的请求不清楚。那就是使用correlationId属性。我们将为每个请求设置唯一的值。之后，当我们在回调队列中收到一条消息时，我们将查看此属性，并且基于此，我们将能够将响应与请求相匹配。如果我们看到一个未知的correlationId值，我们可能会安全地丢弃该消息 - 它不属于我们的请求。

您可能会问，为什么我们应该忽略回调队列中的未知消息，而不是出现错误？这是由于在服务器端发生竞争条件的可能性。尽管不太可能，RPC服务器可能会在发送给我们的答案之后，但在发送请求的确认消息之前死机。如果发生这种情况，重新启动的RPC服务器将再次处理该请求。这就是为什么在客户端上，我们必须优雅地处理这些重复的响应，而RPC应该理想地是幂等的。

概要

12182150_ogyZ.png

我们的RPC将像这样工作：

  • 当客户端启动时，它创建一个匿名独占回调队列。
  • 对于RPC请求，客户端发送一个具有两个属性的消息： replyTo，它被设置为回调队列和correlationId，它被设置为每个请求的唯一值。
  • 请求被发送到rpc_queue队列。
  • RPC worker（aka：server）正在等待队列上的请求。当请求出现时，它将执行该作业，并使用replyTo字段中的队列将结果发送回客户端。
  • 客户端等待回调队列中的数据。当信息出现时，它检查correlationId属性。如果它与请求中的值相匹配，则返回对应用程序的响应。

把它们放在一起

斐波纳契任务：

private static int fib(int n) {
    if (n == 0) return 0;
    if (n == 1) return 1;
    return fib(n-1) + fib(n-2);
}

我们声明我们的fibonacci功能。它只假定有效的正整数输入。（不要指望这个人可以为大数量工作，这可能是最慢的递归实现可能）。

我们的RPC服务器RPCServer.java的代码如下所示：

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.concurrent.TimeoutException;

public class RPCServer {

    private static final String RPC_QUEUE_NAME = "rpc_queue";

    public static void main(String[] argv) {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        Connection connection = null;
        try {
            connection      = factory.newConnection();
            Channel channel = connection.createChannel();

            channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);

            channel.basicQos(1);

            System.out.println(" [x] Awaiting RPC requests");

            Consumer consumer = new DefaultConsumer(channel) {
                @Override
                public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                    AMQP.BasicProperties replyProps = new AMQP.BasicProperties
                            .Builder()
                            .correlationId(properties.getCorrelationId())
                            .build();

                    String response = "";

                    try {
                        String message = new String(body,"UTF-8");
                        int n = Integer.parseInt(message);

                        System.out.println(" [.] fib(" + message + ")");
                        response += fib(n);
                    }
                    catch (RuntimeException e){
                        System.out.println(" [.] " + e.toString());
                    }
                    finally {
                        channel.basicPublish( "", properties.getReplyTo(), replyProps, response.getBytes("UTF-8"));

                        channel.basicAck(envelope.getDeliveryTag(), false);
                    }
                }
            };

            channel.basicConsume(RPC_QUEUE_NAME, false, consumer);

            //...
        }
    }
}

服务器代码相当简单：

  • 像往常一样，我们开始建立连接，通道和声明队列。
  • 我们可能想要运行多个服务器进程。为了在多个服务器上平均分配负载，我们需要在channel.basicQos中设置prefetchCount设置。
  • 我们使用basicConsume访问队列，我们​​以对象（DefaultConsumer）的形式提供一个回调，该对象将执行该操作并发回响应。

我们的RPC客户端代码RPCClient.java的代码：

import com.rabbitmq.client.*;

import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeoutException;

public class RPCClient {

    private Connection connection;
    private Channel channel;
    private String requestQueueName = "rpc_queue";
    private String replyQueueName;

    public RPCClient() throws IOException, TimeoutException {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        connection = factory.newConnection();
        channel = connection.createChannel();

        replyQueueName = channel.queueDeclare().getQueue();
    }

    public String call(String message) throws IOException, InterruptedException {
        String corrId = UUID.randomUUID().toString();

        AMQP.BasicProperties props = new AMQP.BasicProperties
                .Builder()
                .correlationId(corrId)
                .replyTo(replyQueueName)
                .build();

        channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8"));

        final BlockingQueue<String> response = new ArrayBlockingQueue<String>(1);

        channel.basicConsume(replyQueueName, true, new DefaultConsumer(channel) {
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                if (properties.getCorrelationId().equals(corrId)) {
                    response.offer(new String(body, "UTF-8"));
                }
            }
        });

        return response.take();
    }

    public void close() throws IOException {
        connection.close();
    }

    //...
}

客户端代码稍微涉及：

  • 我们建立一个连接和通道，并声明一个独占的'回拨'队列作为回复。
  • 我们订阅“回调”队列，以便我们可以接收RPC响应。
  • 我们的调用方法使得实际的RPC请求。
  • 在这里，我们首先生成一个唯一的correlationId 数字并保存它 - 我们在DefaultConsumer 中实现handleDelivery将使用此值来捕获适当的响应。
  • 接下来，我们发布请求消息，其中包含两个属性： replyTo和correlationId。
  • 在这一点上，我们可以坐下来等待适当的响应到达。
  • 由于我们的消费者交付处理发生在一个单独的线程中，我们将需要一些东西在响应到达之前暂停主线程。用法的BlockingQueue是可能的解决方案之一。这里我们正在创建ArrayBlockingQueue ，容量设置为1，因为我们只需要等待一个响应。
  • 该handleDelivery方法是做一个很简单的工作，对每一位消费响应消息它会检查的correlationID 是我们要找的人。如果是这样，它将对BlockingQueue的响应。
  • 同时主线程正在等待响应从BlockingQueue中取出。
  • 最后，我们将响应返回给用户。

使客户端请求：

RPCClient fibonacciRpc = new RPCClient();

System.out.println(" [x] Requesting fib(30)");
String response = fibonacciRpc.call("30");
System.out.println(" [.] Got '" + response + "'");

fibonacciRpc.close();

现在看看我们的RPCClient.java和RPCServer.java的完整示例源代码（包括基本异常处理）的 好时机。

像往常一样编译和设置类路径：

javac -cp $CP RPCClient.java RPCServer.java

我们的RPC服务现在已经准备就绪。我们可以启动服务器：

java -cp $CP RPCServer
# => [x] Awaiting RPC requests

要请求运行客户端的fibonacci号码：

java -cp $CP RPCClient
# => [x] Requesting fib(30)

这里提出的设计不是RPC服务的唯一可能的实现，而是具有一些重要的优点：

  • 如果RPC服务器太慢，可以通过运行另一个RPC服务器进行扩展。尝试在新的控制台中运行第二个RPCServer。
  • 在客户端，RPC需要发送和接收一条消息。不需要同步调用，如queueDeclare 。因此，RPC客户端只需要一个网络往返单个RPC请求。

我们的代码仍然非常简单，不会尝试解决更复杂（但重要的）问题，如：

  • 如果没有服务器运行，客户端应该如何反应？
  • 客户端是否需要RPC的某种超时时间？
  • 如果服务器发生故障并引发异常，应该将其转发给客户端？
  • 在处理之前防止无效的传入消息（例如检查边界，类型）。

转载于:https://my.oschina.net/flyUnique/blog/877623

chengmao4173
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值