记一次单机 pulsar 排查经历

最新推荐文章于 2025-10-12 23:13:19 发布
原创 最新推荐文章于 2025-10-12 23:13:19 发布 · 883 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了一次服务器启动时遇到的Pulsar独家订阅主题故障排查经历，详细介绍了如何定位造成主题订阅冲突的远程IP地址，通过使用pulsar-admin工具查找主题broker，以及利用lsof和netstat命令追踪连接到指定端口的远程连接。

今天服务器启动的时候,无法订阅单机 pulsar 的 Exclusive subscription 主题,表明有其他订阅者订阅了此主题;为了找到这个订阅者在哪个 IP, 在运行 pulsar 的机器上做了如下排查

1. 找到主题的 broker

pulsar-admin persistent lookup persistent://public/default/topicDev

返回的结果是 pulsar://localhost:6650

 

2. 查看哪些 ip 和 6650 端口建立了连接

lsof -i :6650 -n

从结果中找到 ESTABLISHED 状态的远程连接,就是罪魁祸首所在的 IP

 

查看所有的 TCP 连接:
netstat -na|grep ESTABLISHED

【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)
微信搜：import_bigdata，大数据领域硬核原创作者
07-25 4331
????欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 ????欢迎点赞 ???? 收藏 ⭐留言 ???? ，欢迎留言交流！ ????本文由【王知无】原创，首发于 优快云博客！ 声明：本篇博客在我之前发表的文章基础上进行了大量更新，旨在给大数据领域的新人提供一份相识的，未来天花板较高的学习路线。 在原文的基础上，新增了大数据最火热方向的详细学习路径，例如Flink和Spark的详细学习路径。 并且在面试部分进行了整理，将过去我个人面试超过2000+人次的经历进行了系统
大数据领域数据架构的性能监测与预警系统建设
AI大模型应用之禅
08-26 515
在当今数据驱动的时代，大数据架构已成为企业核心竞争力的重要组成部分。然而，随着数据规模的爆炸式增长和处理复杂度的不断提升，确保这些架构的稳定运行和高效性能变得愈发挑战。本文将深入探讨大数据领域数据架构的性能监测与预警系统建设，从基础理论到实际落地，提供一套全面的解决方案。我们将详细剖析性能监测的核心指标体系、数据采集技术、分析建模方法、预警机制设计，并通过一个完整的实战项目展示如何构建企业级的大数据性能监测与预警平台。
记一次pulsar数据丢失排查
V_zxw的博客
02-25 908
生产者往pulsar写消息时会有递增的序列号字段，消费端在消费时，会出现序列号断层。当下无法确定是生产端、mq、消费端哪个地方丢失了数据，所以先从生产端进行排查。生产端的消息发送是通过sendAsync的异步方法该方法会返回一个对象目前是没有对该对象进行检查，所以补上对应的代码逻辑在运行一段时间后，该异常被触发，可以确定问题在生产者这里了。
Linux MacBook单机部署Pulsar并开启认证功能
yinjl123456的博客
08-28 1782
Pulsar简单介绍 Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。 Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。 Pulsar 的关键特性如下： Pulsar 的单个实例原生支持多个集群，可跨机房在集群间无缝地完成消息复制。 极低的发布延迟和端到端延迟。 可无缝扩展到超过一百万个 topic。 简单的客户端 API，支持 Java、Go、Python 和 C++。 支持多种 topic 订阅模式（独占订阅、共享订阅、故障转
Docker 部署单机版 Pulsar 和集群架构 Redis(开发神器)的方法
01-20
一、前言： 现在互联网的技术架构中，不断出现各种各样的中间件，例如 MQ、Redis、Zookeeper，这些中间件在部署的时候一般都是以主从架构或者集群的架构来部署，公司一般都会在开发环境、测试环境和生产环境各部署一套。 当我们开发的时候，一般就会连着开发环境。但是呢，一般公司的开发环境都只能在内网使用，当我们回家了，除非公司提供有 VPN，不然就没办法使用了。有时候我们是有VPN了，但是开发起来还是很不方便。例如我们现在的 MQ 中间件使用的是 Pulsar，但是 Pulsar 的 tenant 和 namespace 都是不能自动创建的，所以平时开发起来非常的不方便，只能每次需要时都找一
pulsar 相关linux命令行的命令记录
zggpdd的博客
12-08 2174
zookeeper 命令的前提是你已经配置了 /etc/profile，以下命令默认你已经配置了这个。 如果你是使用的自己的zookeeper集群，则你可以直接使用 zkServer.sh start zkServer.sh stop zkServer.sh status 如果你是配置了pulsar 路径中 的conf/下的zookeeper.conf ,则你可以使用pulsar 来启动zookeeper。 pulsar-daemon start zookeeper //启动 pulsar-daemo
【pulsar学习】pulsar集群部署及可视化监控部署
weixin_41399650的博客
06-04 3652
最好的学习一个组件的方法就是先用起来，遇见问题再去查找资料。但是往往就卡在了装软件、配置组件这一步。本文主要记录自己在装分布式pulsar时遇到的问题，希望能对读者有所帮助。
从单机到云端跃迁：SeeWO插件集成第三方服务的3条技术路径与选型建议
随着软件架构从单机模式向云原生环境演进，服务集成方式面临深刻变革。本文系统梳理了SeeWO插件在不同技术路径下的集成方案，重点探讨基于RESTful API的同步集成、消息队列驱动的异步解耦机制以及微服务网关支持下的...
sjh的面经、
欢欢的博客
11-12 1301
进程线程协程 协程（线程的线程）与线程主要区别是它将不再被内核调度，而是交给了程序自己而线程是将自己交给内核调度 进程是分配资源的基本单位，也是我们说的隔离。线程作为独立运行和独立调度的基本单位 程之间共享进程的内存空间(包括代码段、数据段、堆等)以及以下进程级的资源（如打开文件和信号） 一个进程崩溃不会影响到另一个，进程内的线程崩溃，整个进程就会崩溃。 MySql主键 Mysql mysia...
大数据领域数据服务的实时数据监控系统
最新发布
Java大师兄的博客
10-12 1066
在大数据领域，数据被誉为“新的石油”。数据服务则是将这“石油”精炼并输送给各个业务引擎的关键管道和泵站。这些数据服务可能是为下游应用提供API接口的数据API服务、支撑实时决策的流处理服务、保障数据仓库新鲜度的数据同步服务，或是为机器学习模型提供特征数据的特征服务等等。随着业务对数据时效性、准确性、可靠性的要求越来越高，“数据服务”本身的质量和稳定性就变得至关重要。一个微小的数据异常，经过数据服务的传递和放大，可能会导致业务决策失误、用户体验下降，甚至造成直接的经济损失和声誉风险。
Apache Pulsar入门demo
09-01
基于maven的用Java api编写的Producer和Consumer；Apache Pulsar入门demo，用来理解Apache Pulsar的基本原理，附带必要代码注释
pulsar部署测试环境
Chguai的博客
04-20 2552
版本：zookeeper 3.8.0 / pulsar 2.9.1 A、Zookeeper (集群) >>> 使用之前的一套 B、Broker集群和bookeeper集群，修改完成配置文件即可生效,配置文件路径 10.118.93.189 /sga/pulsar/conf 10.118.93.190 /sga/pulsar/conf 10.118.93.191 /sga/pulsar/conf 安装pulsar 修改配置文件 tar –zxvf pulsare-v2.91.t
Pulsar 中使用 JWT 进行身份认证
傅腾的专栏
06-28 1851
Pulsar 使用标准的 库支持使用 JWT 做身份认证，同时也提供了 JWT 客户端，可以方便的制作密钥和生成 token。JSON Web Token（RFC-7519）是在 Web 应用中常用的一种认证方案。形式上这个 token 只是一个 JSON 字符串，并做了 base64url 编码和签名。一个 JWT 的 token 字符串包含三个部分，例如：xxxxx.yyyyy.zzzzz（通过点来分隔）： token 内容的查看和验证 我们可以去 https://jwt.io/ 查看 Token 的
pulsar java IO生产消费消息，java栈和堆面试
m0_65321095的博客
12-28 388
创建client 连接 pulsar启动后，默认的url为pulsar://localhost:6650 创建PulsarClient String Pulsar_URL=“pulsar://localhost:6650”; PulsarClient client = mkClient(Pulsar_URL); 其中mkClient函数如下： private static PulsarClient mkClient(String URL) { try { PulsarClient client = Pul
Pulsar 2.4 CentOS 7.3 安装及使用
图霸群英
08-05 1330
下载安装包 http://pulsar.apache.org/en/download/ 使用tar -zxvf解压下载的资源包，目录结构如下 显示目录： 本地单点运行，使用命令./pulsar standalone即可，这里使用默认配置，暴露端口为6650 测试消息 发送消息 命令 ./pulsar-client produce my-topic --messages ...
Pulsar 介绍与部署
qqpopxx的博客
06-04 2522
　　Apache Pulsar 是灵活的发布-订阅消息系统(Flexible Pub/Sub messaging)，采用计算与存储分离的架构。雅虎在 2013 年开始开发 Pulsar ，于 2016 年首次开源，目前是 Apache 软件基金会的顶级项目。Pulsar 具有支持多租户、持久化存储、多机房跨区域数据复制、高吞吐、低延迟等特性。 　　Pulsar 组件 　　Pulsar 集群主要由以下三部分组成： 　　Broker：Pulsar 的 broker 是一个无状态组件，本身不存储数据。主要负
技术笔记
微风的博客
03-16 361
技术笔记问题1问题2 问题1 Docker hub自2020年11月开始，对匿名和免费账户增加了pull镜像频率限制 解决： 首先执行以下命令，查看是否在 docker.service 文件中配置过镜像地址。 systemctl cat docker | grep '\-\-registry\-mirror' 如果该命令有输出，那么请执行 $ systemctl cat docker 查看 ExecStart= 出现的位置，修改对应的文件内容去掉 --registry-mirror 参数及其值，并按接下来
Pulsar 在腾讯云的稳定性实践
qq_36668144的博客
12-28 572
本篇文章将从以下几个方面来跟大家一起分享 Pulsar 在腾讯的实践中遇到的问题和挑战以及对应的解决方案。 ● 消息队列发展历史 ● 开源方案可能面临的问题和挑战 ● 我们的探索与解决方案 ● Pulsar 在腾讯内部的案例实践 ● TDMQ 未来规划
pulsar单机 安装
09-12
要在单机上安装Pulsar，您可以按照以下步骤进行操作： 1. 使用wget命令下载Pulsar安装包。例如，您可以运行以下命令获取版本为2.7.0的Pulsar安装包： ``` wget ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值