疯狂的暴走蜗牛的专栏

简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍，文档地址：https://www.cloudera.com/documentation

简介     整个项目架构是在CDH中，flume采集数据到kafka，然后sparkstreaming消费（flume1.7版本，kafka0.10版本，spark 2.1版本）。本来local本地模式测试已经没有问题，但是部署到集群上就报错如下：Exception in thread "streaming-start" java.lang.NoSuchMethodErr

简介            整个项目架构是在CDH中，flume采集数据到kafka，然后sparkstreaming消费（flume1.7版本，kafka0.10版本，spark 2.1版本）。然后在集群中执行的时候，发现日志中会有下面这个错误，但是程序并没有死掉，结果也和本地环境测试的结果一样。同时发现，3个spark executor中，有一个会死掉。  java