
菜菜的后端私房菜
文章平均质量分 96
菜菜的后端私房菜
专注Java后端技术栈,热爱工作,热爱生活,关注菜菜,分享更多干货日常哟~
展开
-
RocketMQ(五):揭秘高吞吐量并发消费原理
提交消费请求后,会根据每次消费批处理最大消息数量进行分批次构建消费请求并提交到线程池执行任务并发消费消息的特点是吞吐量大,使用线程池对拉取的消息进行消费,但是消费消息是无法预估执行顺序消费消息时会使用消费者的消费监听器进行消费消息并获取返回状态,根据状态进行后续的处理(集群模式下)如果状态为成功则删除ProcessQueue中的消息,并更新内存中记录Broker的消费偏移量,后续定时任务向Broker进行更新该消费者所有队列对应的消费偏移量。原创 2024-11-21 09:25:34 · 1096 阅读 · 0 评论 -
RocketMQ(四):消费前如何拉取消息?(长轮询机制)
消息中间件消费端获取消息的方式通常有推送、拉取、长轮询(推拉结合)三种Broker主动推送消息有很好的实时性,但消费端未做流控可能会压力大,导致吞吐量、性能下降,消息积压消费者主动拉取消息能根据自己的消费能力决定拉取数量,但无法预估拉取频率,太慢会导致实时性差长轮询是特殊的拉取方式,在拉取的基础上,如果未拉取到消息会进行等待,超时或消息到达后再进行拉取,弥补拉取方式实时性差的缺点,但大量长连接一直等待资源开销大。原创 2024-11-21 09:24:48 · 1039 阅读 · 0 评论 -
RocketMQ(三):面对高并发请求,如何高效持久化消息?
Broker为了持久化消息会写很多文件,其中主要为CommitLog、ConsumerQueue、IndexFile文件为了实现高性能的写入,写入文件通常都是使用mmap(内存映射)对应源码中的MappedFileCommitLog为消息顺序写入的文件,通过顺序写的方式提高写入性能,文件名以起始偏移量命名,固定1G,消息被消费后会删除。原创 2024-11-20 11:35:45 · 1055 阅读 · 0 评论 -
搭建环境麻烦?5分钟上手云主机快速开发
本文将详细介绍如何在云主机中使用IDE工具结合Redis开发测试秒杀抢购功能,帮助读者充分理解该强大的开发环境原创 2024-11-20 11:34:36 · 784 阅读 · 0 评论 -
入门Hadoop存储与计算:实现单词统计的分布式文件处理系统
本文主要讨论Hadoop下的HDFS存储与MapReduce计算HDFS存储架构主要由namenode、datanode来实现,其中存储分为不同机架rack,机架上的节点间通信需要交换机,节点上真正存储数据块block同时为了实现数据可用与可靠,会对数据块进行冗余,副本存储在不同机架上,机架上不均匀的存储可以减少写开销计算流程会先对输入进行切片,切片后一一进行映射map,然后对KV进行分区排序后,再进行reduce合并,最终将结果输出到文件存储到HDFS。原创 2024-11-19 09:51:04 · 679 阅读 · 0 评论 -
Spring AI 开发专属于你的AI聊天机器人
随着人工智能技术的飞速发展,聊天机器人在现代商业中的应用越来越广泛聊天机器人不仅提高了效率,还改善了用户体验,它们可以24/7不间断地为客户提供服务,解答常见问题本文将介绍如何设计并实现一个AI聊天机器人,该机器人能够理解用户的文本输入并给出相应的回答通过结合Spring Boot、Spring AI等技术,我们将构建一个AI聊天机器人,适用于各种对话场景本篇文章通过Spring Boot、Spring AI、Alibaba-AI等技术实现AI聊天机器人。原创 2024-11-19 09:50:26 · 1058 阅读 · 0 评论