
kafka
重启试试..
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
kafka与SparkStreaming整合
1、Receiver模式接收器模式,必须有一个Task接收数据接收器模式的话很容易造成丢失数据。如果接收数据的期间,Driver挂掉,那么在Excuter内存中的数据多多少少会丢失一些,WAL机制优化机制,可以将数据存储在Hdfs一份,但一定要设置Checkpoint 持久化 才可以放磁盘 不tm开启放个屁。1.6之后这种模式就被移除了Direct模式处理数据就去拿,而不是...原创 2020-03-03 21:00:42 · 263 阅读 · 0 评论 -
kafka常用的命令
查看有那些topic进入到 bin目录1.查看topic./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --list2.创建topic./kafka topics.sh --topic new_top --partitions 3 zookeeper node3:2181,node4:2181,nod...原创 2020-02-26 16:22:24 · 386 阅读 · 0 评论