
Kafka
大数据
Hi Xiu Hui
这个作者很懒,什么都没留下…
展开
-
spark等,消费kafka数据(收集)
1.用spark-streaming从kafka读取 启动日志object DauApp { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("DauApp").setMaster("local[2]") val ssc = new StreamingContext(conf, Seconds(3)) // 1. 消费kafka数据原创 2020-05-28 15:44:53 · 274 阅读 · 0 评论 -
生产者向kafka发送消息(收集)
1.在springboot里面的KafkaTemplate发送 @Autowired private KafkaTemplate<String, String> kafka; /** * 把日志信息发送到kafka * * @param log */ private void sendToKafka(String log) { // 1. 写一个生产者 // 2. 不同的日志发送不到不同的to原创 2020-05-28 15:34:46 · 350 阅读 · 1 评论 -
kafka玩坏的情况
1.当时我的kafka坏了的情况是controller一直在重新连接broker,kafka启动过一会就挂了然后会在后台不停的往logs里面写错误日志,我当时没发现1个小时后去看的已经写了一个多g了解决:解决kafka玩坏连接,点这...原创 2020-03-30 20:04:32 · 149 阅读 · 0 评论 -
kafka玩坏了,如何解决,删除,bug
1.kafka彻底删除topic第一种方式:1.修改server.properties文件delete.topic.enable=trueauto.create.topics.enable=false2.确保所有的生产者,消费者都已经停掉3.执行bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic demo4....原创 2020-03-30 20:01:46 · 1126 阅读 · 1 评论 -
Kafka的消费者组,生产者之间的关系,console
1.启动zk集群,zkstart2.启动kafka集群,102,103,1043.在kafka目录下创建主题103bin/kafka-topics.sh --zookeeper hadoop103:2181 --create --topic hello1 --partitions 8 --replication-factor 34.在kafka目录下查看主题103bin/kafka-to...原创 2020-03-15 21:37:27 · 511 阅读 · 0 评论