pulsar
关注
分享
扫一扫
文章平均质量分 64
河漏风
这个作者很懒，什么都没留下…
展开
-
pulsar+flink组合流测试
pulsar解决了消息传输的问题。但是实时计算采用什么技术呢，之前楼主一直使用的是spark，但是偶然的机会发现了flink（阿里开源的blink就是基于此做的，预计会在1.9版本将blink糅合到flink中），因为最近需要将流计算的东西整理一下，和现在线上环境pulsar组合到一起使用。所以做了一下pulsar与flink流计算的测试。pulsargit代码位置https://githu...原创 2019-03-29 17:04:57 · 3334 阅读 · 0 评论 -
pulsar之AutoRecovery功能
pulsar支持应用无感知的扩展与迁移。对broker，我们不论是升级还是扩展都非常简单，此处不做介绍。但是对于bookie，还是需要注意一些地方的。autorecovery关闭bookkeeper shell autorecovery -disable开启bookkeeper shell autorecovery -enable做迁移bookie的时候开启自动拷贝，会自动将关闭bo...原创 2019-03-26 14:12:32 · 4087 阅读 · 1 评论 -
pulsar使用过程中的坎坷
其实pulsar的安装算是比较简单的。主要分为两部分bookie和broker，而我们只需要将配置文件修改好，环境准备好基本都能安装运行了。安装步骤我就不说了，有不知道的小伙伴可以去看看楼主其他博客，有步骤的讲解。现在说一下安装时碰到的一个小问题，花费了楼主一下午的时间，才发现不是自己的问题。1. 安装篇，配置extraServerComponents=org.apache.bookkee...原创 2019-03-21 15:31:01 · 3871 阅读 · 0 评论 -
开启pulsar自动启动,开启broker与bookie自启与自检功能
1. Broker添加文件： vim /usr/lib/systemd/system/pulsar.broker.service内容： [Unit]Description=Pulsar BrokerAfter=network.target[Service]ExecStart=/opt/apache-pulsar-2.3.0/bin/pulsar brokerWorkingDi...原创 2019-03-21 15:29:03 · 2748 阅读 · 0 评论 -
pulsar的消息保留策略（保留策略，积压，ttl时间）
默认情况：立即删除每个订阅上已确认的所有消息，并且持久性地将所有未确认的消息存储在待办事项中。通过指定生存时间（TTL），可以在指定的时间范围内未确认的消息自动标记为已消耗。保留策略持久存储已经消耗并确认的消息，消息不论消费和未消费，都至少保存X小时。设置已确认消费消息最大保存时间pulsar-admin namespaces set-retention tenant/namespa...原创 2019-03-12 20:49:30 · 5552 阅读 · 4 评论 -
pulsar异步生产模式下游标回滚实现
楼主测试的时候使用的都是同步模式，闲来有空测试了以下pulsar的异步生产模式发现了一些有趣的事情，和大家分享以下producer的创建对分区topic而言，开启.enableBatching( true ).maxPendingMessages(128)批处理功能后续会介绍为什么和有什么影响。生产者异步生产例如producer.sendAsync(str1.getBytes()...原创 2019-03-12 20:26:11 · 972 阅读 · 0 评论 -
pulsar消息系列(producer生产者发送，consume消费者消费)
pulsar两种消息发送策略，同步发送与异步发送生产者producer同步发送模式楼主创建的producer数据类型是{ this.producer = client.newProducer(Schema.BYTES) }同步发送MessageId messageId = producer.send( str1.getBytes() );异步发送方式一，只管发Completabl...原创 2019-03-12 20:11:55 · 6867 阅读 · 0 评论 -
pulsar+prometheus+grafana监控（三，邮件报警）
grafana配置修改因为楼主使用的是defaults.ini。故修改defaults.ini文件#################################### SMTP / Emailing #####################[smtp]enabled = truehost = localhost:25user =password =cert_file =ke...原创 2019-03-12 17:13:38 · 1550 阅读 · 0 评论 -
pulsar+prometheus+grafana监控（二，监控界面）
pulsar监控dashboard链接地址https://github.com/apache/pulsar/tree/master/docker/grafana/dashboardspulsar+prometheus+grafana链接grafana界面新建data source配置导入dashboardimport导入pulsar的dashboard打开dashbo...原创 2019-03-11 14:14:03 · 2701 阅读 · 0 评论 -
pulsar监控系统prometheus+grafana（一，安装）
prometheus安装下载地址https://prometheus.io/tar -zxvf prometheus-2.0.0.linux-amd64.tar.gzcd prometheus-2.0.0.linux-amd64.tar.gz./prometheus配置项全局配置global:scrape_interval: 15s # 默认 15秒到目标处抓取数据这个标...原创 2019-03-11 13:45:38 · 2163 阅读 · 1 评论 -
pulsar起client客户端时(client,producer,consumer)各个配置选项的含义
producer参考代码// 构造生产者this.producer = client.newProducer(Schema.BYTES).producerName(judgeValue(“producerName”)).topic(judgeValue(“topic”)).batchingMaxMessages(Integer.parseInt(judgeValue(“batching...原创 2019-03-08 14:19:09 · 10366 阅读 · 2 评论 -
Pulsar-Consumer
原创： 林一笔记 MessageQueue 2018-09-25“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消息模型和直观的客户端API。...转载 2019-03-08 13:25:46 · 851 阅读 · 0 评论 -
Apache Pulsar 2.3 重磅发布，新特性独家解读
Apache Pulsar 2.3 重磅发布，新特性独家解读原创： 郭斯杰 ApachePulsar 1周前“Apache Pulsar 2.3.0 重磅发布！最新版本包含支持在Kubernetes中执行Pulsar Functions，基于JSON Web Tokens的认证方式，C++和Python客户端对Schema的支持，Python Functions对于状态函数的支持，以及一系...转载 2019-03-08 11:34:43 · 875 阅读 · 0 评论 -
Pulsar VS. Kafka（2）: 以Segment为中心的架构
原创： Sijie Guo ApachePulsar 2018-08-21翻译：翟佳在上一篇文章中，我们深入探讨了Apache Pulsar的消息模型，该系统统一了高性能的流 和 灵活的队列。对比展示了Apache Pulsar和Apache Kafka实现消息传递模型中消息消费，确认和保留的工作方式。 在这篇文章中，我们将介绍Apache Pulsar背后的一些系统架构和设计理念，并最后...转载 2019-03-08 11:32:10 · 1157 阅读 · 0 评论 -
Pulsar VS. Kafka（1）: 统一的消息消费模型（Queue + Stream）
原创： Sijie Guo ApachePulsar 2018-08-21翻译：翟佳之前的文章，我们描述了Apache Pulsar能够成为企业级流和消息系统的原因。Pulsar的企业特性包括消息的持久化存储，多租户，多机房互联互备，加密和安全性等。我们经常被问到的一个问题是Apache Pulsar和Apache Kafka有什么不同。在本系列的Pulsar和Kafka比较文章中，我们...转载 2019-03-08 11:29:25 · 2368 阅读 · 2 评论 -
pulsar创建topic
因为之前写了一个游标回滚的博客，牵扯到分区topic与非分区topic的区别，楼主总结了一些经验，有不对的地方欢迎指出** 1. 分区topic的创建**private static PulsarAdmin admin = null;public void createTopic(){topicName = “persistent://zhiwang3/whds9/admin3”;num...原创 2019-03-08 10:25:41 · 5073 阅读 · 0 评论 -
pulsar2.3.0游标回滚，移动偏移量测试
** 1. 功能支持**pulsar做为一个消息系统，自然是支持游标回滚功能的，但是因为软件还处于快速发展迭代的阶段，有些功能使用上可能会小心一些，以下就是楼主最近碰到以及找到的解决办法。2. 需求因为消息安全以及可验证的原因，项目要求需要可将topic中消息回滚到之前几分钟，十几分钟，乃至于最早未删除的位置。经过测试发现pulsar有四种方式可处理回滚事项，一，设置subscription...原创 2019-03-08 10:11:43 · 1141 阅读 · 0 评论 -
pulsar2.2.0安装步骤
一、 第一步：安装部署zk安装路径/opt/zookeeper-3.4.13配置文件tickTime=2000initLimit=10syncLimit=5dataDir=/data1/zookeeper/dataclientPort=2181#maxClientCnxns=60server.1=172.16.4.222:2888:3888server.2=172.1...原创 2019-03-07 20:06:23 · 1801 阅读 · 0 评论 -
pulsar2.2.0在线版本升级2.3.0步骤
原先版本2.2.0，升级后版本2.3.0原先版本简介，三台bookie服务器+三台broker服务器1. 下载解压tar zxfv apache-pulsar-2.3.0-bin.tar.gz 耗时，下次提前传输传输jar包（wget https://archive.apache.org/dist/pulsar/pulsar-2.3.0/apache-pulsar-2.3.0-bin.t...原创 2019-03-07 19:57:08 · 915 阅读 · 0 评论