
Kafka/Pulsar
羲凡丞相
get busy living ,or get busy dying
展开
-
Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)
@羲凡——只为了更好的活着Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)开始之前务必检查自己kafka、pulsar和flink的版本,在pom中添加正确依赖本人kafka(0.11)、pulsar(2.4.1)和flink(1.7.2),切记版本不一样,代码...原创 2019-11-15 10:29:55 · 5656 阅读 · 4 评论 -
Pulsar 安装完整版——pulsar2.4.1
@羲凡——只为了更好的活着Pulsar 安装完整版——pulsar2.4.1pulsar自从腾讯使用后各种火,最近查看官方文档,实操后整理了一份安装手册,贡献给大家安装分一下几步:零、前期准备一、部署ZooKeeper集群二、初始化集群元数据三、部署BookKeeper集群四、部署Pulsar brokers安装pulsar2.4.1官网要求每台机器安装至少Java1.8的环境...原创 2019-11-13 10:41:16 · 3658 阅读 · 6 评论 -
Kafka 安装完整版
@羲凡——只为了更好的活着Kafka 1.0安装完整版——Kafka1.1.1Kafka 是做流计算的好基友。下面在deptest4,deptest5,deptest6三台机器上配置kafka集群0.默认你已经安装了JDK和scala1.下载Kafka 1.1.1安装包下载地址:http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1...原创 2019-03-04 11:33:54 · 612 阅读 · 1 评论 -
SparkStreaming 读取kafka中数据(spark2.3.2)
@羲凡——只为了更好的活着SparkStreaming 读取kafka中数据(spark2.3.2)流处理一般都会涉及到kafka,所以用SparkStreaming读取kafka中数据是流处理的必备技能之一。1.先在pom.xml文件中添加${spark.version} 即你的spark的版本,我spark是spark 2.3.2。我kafka是kafka_2.11-0.10.2.2...原创 2019-03-04 15:07:36 · 1739 阅读 · 1 评论