dymkkj的专栏

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.curator.utils.PathUtils.validatePath(Ljava/lang/String;)V at org.apache.curator.framework.imps.NamespaceImpl.<init>(NamespaceIm...

1. 下载spark,hdfs相匹配的kafka版本http://kafka.apache.org/downloads2.解压tar xzvf kafka.tar.gz3.解压安装(简略) ,配置好zookeeper zoo.config创建zk data,log目录sudo mkdir /usr/cdh/spark/zkdata/sudo mkdir /usr/cdh/spark...

1.spark streaming 持续如下打印日志,无法进行任务处理,并无报错AbstractCoordinator: (Re-)joining group testpAbstractCoordinator: (Re-)joining group testpAbstractCoordinator: (Re-)joining group testp2.查看zookeeper...

1.查看topic是否正常: topic副本,leader可在集群任何节点执行opt/kafka_2.11-0.10.0.0/bin/kafka-topics.sh    --describe   --zookeeper 10.25.133.192:12181,10.26.51.89:12181/kafka10 --topic  nongfunginxlog2.验证所指定的一个或多个Topic下每...

一 kafka某个offset的监控工具(1).开源社区有相应的组件进行监控a.下载 kafka offset监控 (地址链接)https://pan.baidu.com/s/1sj0YERV  (如果失效,可以上社区搜索)b. 解压后发现KafkaOffsetMonitor-assembly-0.2.1.jar,即为监控组件c.编写脚本(可定时启动)KafkaOffsetMonitor...

1.查看topic是否正常: topic副本,leader可在集群任何节点执行opt/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --describe --zookeeper 10.25.133.192:12181,10.26.51.89:12181/kafka10 --topic nongfunginxlog查看当前的offset,消息数...

kafka-零字节拷贝1.数据从内核复制到套接字缓冲区2.从套接字缓冲区复制到NIC(网络适配器)缓冲区--网络传输传统: 1.数据从磁盘读取到内核空间的pagecache中2.应用程序从内核空间读取数据到用户空间缓冲区3.应用程序将数据从内核空间复制到套接字缓冲区4.从套接字缓冲区复制到NIC(网络适配器)缓冲区Spark Streaming + Kafka 整合Rece...

问题描述手动往kafka命令中发送数据，发生截断，导致kafka的数据不完整，flume的采集的数据不完整（以为是flume 采集数据发生truncate): /usr/kafka_2.10-0.9.0.1/bin/kafka-console-producer.sh --topic dp_monitor_rh_out-20190717 --broker-list broker-...