
spark streaming
hadoop程序猿
爸爸的爸爸是爷爷
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark消费kafka问题记录(cdh5.16.2)
版本如下kafka和spark都安装完成后,执行spark2-shell竟然报错Error: A JNI error has occurred, please check your installation and try again网上搜大概是jdk版本的问题,添加环境变量可以解决export SPARK_DIST_CLASSPATH=$(hadoop clas...原创 2019-11-01 10:42:29 · 621 阅读 · 0 评论 -
spark streaming消费kafka maven依赖选择
当我们的spark streaming程序需要消费kafka数据,我们需要根据自己的spark版本和kafka broker版本选择合适的maven依赖 spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 支持的kafka版本 0.8+ 0.10+ 依赖包使用的spark版本 2.0-及2.0+ ...原创 2019-01-03 13:42:04 · 6408 阅读 · 1 评论