C_time的博客

kafka -> sparkStreaming -> kafka package Kafka010 import Kafka010.Utils.MyKafkaUtils import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.clients.producer.{KafkaProd...

1.这个记录的实例就是说，接了上一篇的代码修改，加了广播变量的东西。 我在mysql存的某个规则， 我启动sparkStreaming程序的时候使用broadcast广播出去，注意这个就仅执行一次的 然后吧在redis有这么一个kv作为标志，比如说flag=true，每次sparkStreaming程序程序处理数据用到规则之前，都要先到redis看一下这个标志位变没变。 如果有其他程序或者人为修改...

1.这个文章记录我从redis管理kafka的Consumer的offsets，是sparkStreaming作为Consumer的 版本的话kafka010，sparkStreaming 2.2.0，redis应该2.9.0 pom文件放在最后 2.主要的代码就两个 一个是Kafka010Demo03， 另一个就是RedisUtilsDemo。 然后其他就是连接redis读取配置文件的代码了。 ...

package Kafka010.Utils import java.util.Properties import org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig, ProducerRecord} /** * Created by Shi shuai RollerQing on 2019/12/24 20:1...

package Kafka010 import Kafka010.Utils.MyKafkaUtils import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.TopicPartition import org.apache.spark.SparkConf import org....

package Kafka010 import Kafka010.Utils.MyKafkaUtils import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.InputDStream im...

本文完全转载自如下 https://www.cnblogs.com/hongfeng2019/p/11210229.html kafka修改topic副本数 工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活，首先想到的是下面的命令： ${BIN_PATH}/kafka-topics.sh --zoo...

kafka根据key或value分区时的策略 String.hashCode()会返回负值

转载自过往记忆（https://www.iteblog.com/） 本文链接: 【Kafka集群扩展以及重新分布分区】（https://www.iteblog.com/archives/1611.html） 我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求，而且添加起来非常地方便，我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件，然后把里面的broker id修改成全...

kafka提供了关闭脚本，但是我运行的时候报错： 关闭失败 修改kafka-server-stop.sh 将 #PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}') 改为 PIDS=$(ps ax | grep -i 'Kafka' | grep java | grep -v ...