Bulut0907

Pulsar IO分为Input和Output两个模块。支持的Source Connector和Sink Connector可以参考Pulsar官网Connector部分。

所以Pulsar有了分层储存的概念，将很久前的历史消息储存在HDFS中。Pulsar的消息由分片组成，除当前写入的最后一个分片数据是变化的，其它分片数据都已封装不会变化。复制完成后，可以立即更新消息日志元数据中的数据指针，并且可以删除BookKeeper中存储的数据副本。但是如果所有的消息都储存在Bookkeeper中，就需要不停的拓展Bookkeeper集群的数量，系统会自动平衡数据，这样成本很高。修改Pulsar集群所有服务器的broker.conf，配置卸载地址和路径, 并开启卸载自动运行即可。

目录1. 介绍2. topic数据准备1. 介绍一个subscription name有时可以有多个consume客户端一个consume只能有一个subscription name2. topic数据准备向一个topic以发送如下10条数据

目录1. 数据写入流程2. 数据读取流程3. 读写异常处理流程1. 数据写入流程说明: 写入操作客户端只和broker交互, 不和zookeeper和bookkeeper交互客户端通过produce进行消息的发送produce基于内部的MessageWriter类进行分区操作。分区方法有round-robin(默认)、根据key进行hash分区、自定义分区produce连接partition对应的broker节点broker调用Bookkeeper客户端并发写多个副本到Bookie当brok

目录1. Bookeeper的特点和使用场景2. entry、ledger、stream概念1. Bookeeper的特点和使用场景特点：极低的延迟(小于5毫秒)读写entry流能够持久、一致、容错地存储数据在写数据时，能够进行流式追尾传输有效地存储、访问历史数据与实时数据能够在单个集群中或多个集群间提供跨机器复制2. entry、ledger、stream概念Bookkeeper中比较核心的元素: 记录(entry)、日志段(ledger)、日志流stream关系是：多个记录形成一

目录1. Transaction的作用2. Transaction的各种概念3. 开启Transaction4. 使用事务1. Transaction的作用事务API的使用场景：实现从一个topic消费数据，发送消息到另一个topic的原子性操作实现一条消息发送到多个topic的原子性操作实现从多个topic消费数据进行ack确认的原子性操作允许事件流应用将消费、处理、生产消息整个过程定义为一个原子操作。一个事务涉及的所有操作要么全部成功，要么全部失败2. Transaction的各种概念

目录1. 背景2. 介绍3. Pulsar Function的使用3.1 Pulsar Function的启用3.2 使用Pulsar Function4. 自己编写一个Function1. 背景当从Pulsar中的一个topic消费数据，进行一些简单的ETL/聚合计算，然后将数据保存到另一个topic时。这个就可以使用Funtion流式计算框架。但是复杂的计算还是需要使用Spark/Flink等计算框架2. 介绍从多个Input Topic中消费数据，然后将计算后的数据发送到Output Topi

目录1. produce1.1 同步produce1.2 异步produce2. consume2.1 single consume2.2 batch consume1. produce1.1 同步produce示例如下import org.apache.pulsar.client.api.{Producer, PulsarClient, Schema}import org.apache.pulsar.client.impl.schema.AvroSchemacase class User(n

目录1. 添加pom.xml依赖2. tenant租户的Java/Scala API2. namespace命令空间的Java/Scala API1. 添加pom.xml依赖 <dependency> <groupId>org.apache.pulsar</groupId> <artifactId>pulsar-client-all</artifactId>

目录1. 命令行操作tenants租户1.1 查询租户列表1.2 创建租户1.3 查询租户配置信息1.4 更新租户配置信息1.5 删除租户2. namespace2.1 namespace的相关概念2.2 namespace的命令行操作2.2.1 创建namespace2.2.2 查看某个租户下的namespace列表2.2.3 删除namespace2.2.4 获取namespace的policies2.2.5 配置多个集群之间的数据复制2.2.6 namespace的quota设置2.2.7 持久化的配

目录1. 下载解压2. 启动1. 下载解压[root@pulsar1 ~]# wget https://dist.apache.org/repos/dist/release/pulsar/pulsar-manager/pulsar-manager-0.2.0/apache-pulsar-manager-0.2.0-bin.tar.gz[root@pulsar1 ~]#[root@pulsar1 ~]# tar -zxvf apache-pulsar-manager-0.2.0-bin.tar.gz

目录1. 安装规划2. 依赖安装3. 下载解压4. 修改配置5. 安装内置连接器(可选)6. 安装分层存储卸载程序(可选)7. 运行8. 使用Pulsar1. 安装规划总共3台服务器，在每台服务器上都安装Zookeeper、Pulsar broker、Bookeeper bookie其中客户端使用包含了所有broker地址的URL与Pulsar集群通信。所有brokers和 bookies都依赖ZooKeeper2. 依赖安装安装Java8：请参考centos7同时安装java8和openJdk1

1. 层级储存Infinite Stream: 以流的方式永久保存原始数据分区的容量不再受限制充分利用云存储或现有的廉价存储(例如HDFS)数据统⼀表征：客户端无需关心数据究竟存储在哪⾥2. Pulsar IO(Connector)连接器Pulsar IO分为输入(Input)和输出(Output)两个模块，用于解决Pulsar与周边系统的集成问题目前支持非常多的连接集成操作: 例如HDFS 、Spark、Flink 、Flume 、ES 、HBase等。