高吞吐消息中间件
关注
分享
扫一扫
文章平均质量分 87
本专栏对Kafka集群原理和消息流处理流程、组件机制、流处理基础等进行深入讲解，对从架构选型角度对三种MQ进行比较。对市场上常用的开源消息中间件RocketMQ进行深度源码剖析、并对零拷贝原理、刷盘机制、消息幂等、死信队列、优化配置、动态扩容缩容、集群搭建等高级应用和原理进行讲解。
穿城大饼
离离原上草，一岁一枯荣。
野火烧不尽，春风吹又生。
远芳侵古道，晴翠接荒城。
又送王孙去，萋萋满别情。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
实战：基于RabbitMQ的TTL以及死信队列，实现延迟付款，手动补偿案例
基于RabbitMQ的TTL以及死信队列，使用SpringBoot实现延迟付款，手动补偿操作。1、用户下单后展示等待付款页面2、在页面上点击付款的按钮，如果不超时，则跳转到付款成功页面3、如果超时，则跳转到用户历史账单中查看因付款超时而取消的订单。...原创 2020-11-23 21:47:55 · 1012 阅读 · 0 评论 -
RabbitMQ + 镜像队列 + HAProxy 实现负载均衡的集群
RabbitMQ集群+ 镜像队列，并借助HAProxy 实现负载均衡的集群一、集群管理1. 环境介绍节点名称地址信息mq1192.168.80.16mq2192.168.80.17mq3192.168.80.18单机部署单机版安装地址：RabbitMQ3.8.4安装和配置2. 从mq1拷贝.erlang.cookie到node3、node4的相应目录如果没有该文件，手动创建 /var/lib/rabbitmq/.erlang.cookie ，生成C原创 2020-11-01 21:34:02 · 1291 阅读 · 0 评论 -
RabbitMQ集群（单机多实例部署）
RabbitMQ集群一、单机多实例部署单机版安装地址：RabbitMQ3.8.4安装和配置在单机版基础上 ，也就是一台Linux虚拟机上启动多个RabbitMQ实例，部署集群。1. 在单个Linux虚拟机上运行多个RabbitMQ实例：多个RabbitMQ使用的端口号不能冲突多个RabbitMQ使用的磁盘存储路径不能冲突多个RabbitMQ的配置文件也不能冲突在单个Linux虚拟机上运行多个RabbitMQ实例，涉及到RabbitMQ虚拟主机的名称不能重复，每个RabbitMQ使原创 2020-10-30 20:12:26 · 3339 阅读 · 0 评论 -
RabbitMQ常用操作命令和入门案例（一对一的简单模式）
RabbitMQ常用操作命令一、安装环境常见命令列表：# 前台启动Erlang VM和RabbitMQ rabbitmq-server# 后台启动 rabbitmq-server -detached# 停止RabbitMQ和Erlang VM rabbitmqctl stop# 查看所有队列 rabbitmqctl list_queues# 查看所有虚拟主机 rabbitmqctl list_vhosts# 在Erlang VM运行的情况下启动RabbitMQ应用 rabbit原创 2020-10-27 15:58:06 · 719 阅读 · 0 评论 -
RabbitMQ3.8.4安装和配置
安装和配置RabbitMQ一、安装环境：名称版本虚拟机软件VMWare 12操作系统CentOS Linux release 7.7.1908Erlangerlang-23.0.2-1.el7.x86_64RabbitMQrabbitmq-server-3.8.4-1.el7.noarchRabbitMQ的安装需要首先安装Erlang，因为它是基于Erlang的VM运行的。RabbitMQ需要的依赖：socat和logrotate，logrotat原创 2020-10-26 15:14:35 · 2070 阅读 · 1 评论 -
RocketMQ 4.5.1 环境搭建
RocketMQ 4.5.1 环境搭建1.软件准备:RocketMQ最新版本：4.5.1下载地址：添加链接描述 提取码：vhye2.环境要求软件名称版本下载地址JDK11.0.5下载 提取码：6ksbLinux64位系统(CentOS Linux release 7.1503)下载 提取码：8a9u安装Maven（使用源码安装rocketmq才需要）3.2.x下载 提取码：ymli注意： 磁盘空间要求：4G+ free ，原创 2020-12-01 15:55:23 · 739 阅读 · 0 评论 -
kafka 常见问题（ 持续更新... ... ）
kafka 常见问题1. kafka中zk的作用，具体用在了哪些地方，zk可以用nacos替代吗zk 记录集中的服务器数量，主题数量，分区信息，副本信息，集群控制器等信息。（数据不大，种类多，关注数据一致性，不要求速度高并发cp）nacos主要做服务发现，Kafka中的zk的作用是状态管理。(ap)不能替换。RocketMQ为什么不使用ZooKeeper而自己开发NameServer？在服务发现领域，ZooKeeper 根本就不能算是最佳的选择。注册中心是CP还是AP系统?在分布式系统原创 2020-11-18 14:15:53 · 1737 阅读 · 0 评论 -
实战：kafka实现日志收集系统
Kafka作业使用Kafka做日志收集。一、需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）二、工作流程：1、HTML可以理解为拉勾的职位浏览页面2、用户的操作会由Web服务器进行响应。3、同时用户的操作也会使用ajax向Nginx发送请求，nginx用于收集用户的点击数据流。原创 2020-11-17 19:21:24 · 6334 阅读 · 1 评论 -
高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）
高吞吐消息中间件Kafka集群环境搭建一、集群搭建要求1.搭建设计2.分配六台Linux，用于安装拥有三个节点的Kafka集群和三个节点的Zookeeperip地址节点名称192.168.80.10zookeeperCluster10192.168.80.11zookeeperCluster11192.168.80.12zookeeperCluster12192.168.80.20kafkaCluster20192.168.80.21kaf原创 2020-11-13 15:10:26 · 1194 阅读 · 0 评论 -
Kafka概念和基本架构概述
概念和基本架构一、Kafka介绍Kafka是最初由 Linkedin 公司开发，是一个 分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统）。常见可以用于web/nginx日志、访问日志，消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统消息系统Kafka主要设计目标如下： 1. 以时间复杂度为O(1)的方式提供消息持久化能力，即使对 TB级 以上数原创 2020-11-04 18:56:41 · 585 阅读 · 1 评论 -
Kafka2.12安装与配置/生产与消费
Kafka一个主题包括多个先进先出的队列，实现了横向的扩展；通过分区副本，保持高可用（部署在多个不同的机器上）rabbitmq延迟低，处理数据并发量w级别kafka延迟高，处理数据并发量能够达到千w级别（分批次压缩，高吞吐量）副本分区只用于实现复制...原创 2020-11-03 20:06:51 · 2907 阅读 · 1 评论