BlockingQueue定时或达到一定条数读取队列

本文介绍了一种基于Google Guava工具实现的消费队列线程处理方式,通过使用BlockingQueue来缓存待处理的数据,并在达到一定数量或时间间隔后进行批量处理,最后将数据插入到Elasticsearch中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

谷歌工具类maven:

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>18.0</version>
</dependency>

消费队列线程:

public class LogsConsumer implements Runnable{

    /** 日志 **/
    private static final Logger LOG = LoggerFactory.getLogger(LogsConsumer.class);

    private volatile boolean isRunning = true;

    private BlockingQueue queue;

    public LogsConsumer(BlockingQueue queue) {
        this.queue = queue;
    }

    /**
     * 消费者
     */
    public void run() {
        while (isRunning) {
            try {
                //每次取出的数据存放到logsDatas                List<String> logsDatas = new ArrayList<String>();
                //每次到1000条数据才进行入库,等待1分钟,没达到1000条也继续入库
                Queues.drain(queue, logsDatas, 1000, 1, TimeUnit.MINUTES);
                this.insertLogs(logsDatas);
            }catch (Exception e){
                LOG.error("LogsConsumer drain queues error:",e);
            }

        }
    }

    /**
     *批量添加方法
     * @param logsDatas
     */
    private void insertLogs(List<String> logsDatas) throws Exception {
        if (!CollectionUtils.isEmpty(logsDatas)){
            Client client = ElasticsearchClientUtil.getClient();
            BulkRequestBuilder bulkRequest = client.prepareBulk();
            for (String logsData:logsDatas){
                bulkRequest.add(client.prepareIndex("statistics", "pvanduv").setSource(logsData));
            }
            bulkRequest.get();
        }
    }

}
启动线程:

BlockingQueue queue = BlockingQueueFactory.getQueue();
LogsConsumer consumer1 = new LogsConsumer(queue);
LogsConsumer consumer2 = new LogsConsumer(queue);
ExecutorService service = Executors.newCachedThreadPool();
service.execute(consumer1);
service.execute(consumer2);

### Java 实现延时队列消息处理方案 #### 利用 `DelayQueue` 类实现延时队列 Java 提供了内置的支持用于创建延时队列,即 `java.util.concurrent.DelayQueue`。此工具类允许开发者向其中放入实现了 `Delayed` 接口的对象实例,在这些对象所设定的延迟时间到达之前无法被取出。 ```java import java.util.concurrent.*; class DelayedTask implements Delayed { private final String taskName; private final long startTime; public DelayedTask(String name, long delayInMilliseconds) { this.taskName = name; this.startTime = System.currentTimeMillis() + delayInmilliseconds; } @Override public long getDelay(TimeUnit unit) { long diff = startTime - System.currentTimeMillis(); return unit.convert(diff, TimeUnit.MILLISECONDS); } @Override public int compareTo(Delayed o) { if (this.getDelay(TimeUnit.MILLISECONDS) < ((DelayedTask)o).getDelay(TimeUnit.MILLISECONDS)) return -1; if (this.getDelay(TimeUnit.MILLISECONDS) > ((DelayedTask)o).getDelay(TimeUnit.MILLISECONDS)) return 1; return 0; } } public class TaskScheduler { private static final ExecutorService threadPool = Executors.newFixedThreadPool(4); public static void main(String[] args) throws InterruptedException { BlockingQueue<Delayed> queue = new DelayQueue<>(); // 添加任务到队列中 queue.put(new DelayedTask("task1", 2_000L)); queue.put(new DelayedTask("task2", 5_000L)); while (!queue.isEmpty()) { try { threadPool.submit(() -> { try { Delayed taken = queue.take(); // 只有当元素到期之后才会返回 System.out.println(((DelayedTask)taken).taskName + " is done."); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }); } catch (InterruptedException ex) { Thread.currentThread().interrupt(); } } threadPool.shutdown(); } } ``` 上述代码展示了如何定义一个自定义的任务类并将其加入到 `DelayQueue` 中等待执行[^1]。 #### 使用 RabbitMQ 和 AMQP 协议发送带有时效性的消息 另一种方式是在基于AMQP协议的消息中间件RabbitMQ上设置消息过期属性来模拟延时效果: ```java amqpTemplate.convertAndSend("order.pay.exchange", "order.pay.queue", "大家好我是延迟数据", message -> { message.getMessageProperties() .setExpiration(String.valueOf(delayTimes)); return message; }); ``` 这段代码片段说明了怎样配置一条具有特定存活周期的消息,并通过交换机路由至目标队列[^2]。 #### Redis ZSET 数据结构构建简易版延时队列服务端逻辑 除了以上两种方法外,还可以考虑采用Redis有序集合(Sorted Set),它具备按分数排序的功能特性非常适合用来管理定时任务列表。每当新增一项待办事项时就给定相应的Unix时间戳作为Score值存入ZSET;轮询读取当前时刻之前的记录即可完成简单的调度工作流。 ```xml <!-- Maven POM 文件中的依赖项 --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.2.0</version> </dependency> ``` ```java // 向sorted set里添加成员 jedis.zadd(key, score, member); // 获取score小于等于某个数值的所有member Set<String> members = jedis.zrangeByScore(key, "-inf", ""+System.currentTimeMillis()); for (String m : members){ process(m); jedis.zrem(key,m); } ``` 这里给出了使用Jedis客户端操作Redis服务器的具体步骤,包括安装必要的库文件以及编写核心业务函数[^4]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值