Hadoop
关注
分享
扫一扫
文章平均质量分 80
wangweislk
大数据金融
展开
-
Flume+Kafka+SparkStreaming整合
目录 1.Flume介绍. 2 1.1 Flume数据源以及输出方式. 2 1.2 Flume的核心概念. 2 1.3 Flume结构. 2 1.4 Flume安装测试. 3 1.5 启动flume4 2.Kafka介绍. 4 2.1 Kafka产生背景. 4 2.2 Kafka部署结构. 4 2.3 Kafka集群架构. 4 2.4 Kafka基本概念.原创 2015-08-05 10:49:07 · 7161 阅读 · 2 评论 -
【异常】Spark写入HBase时写入DataNode失败：dfs.client.block.write.replace-datanode-on-failure.policy
问题描述： 在SparkStreaming长时间写入HBase的时候，会下面的异常问题： 2017-12-24 23:20:34 [ SparkListenerBus:540107357 ] - [ ERROR ] Listener EventLoggingListener threw an exception java.io.IOException: Failed to replace原创 2017-12-25 10:46:27 · 6776 阅读 · 0 评论