大壮的博客

rdd.saveAsTextFile("hdfs://pro-app-175:9000/user/hadoop/spark/data")Protocol message end-group tag did not match expected tag显然是我端口弄错了，所以，改成8020即可。rdd.saveAsTextFile("hdfs://pro-app-175:8020/user/hadoop/spark/data")这里我们想将来hive可用，所以，...

来看下官网的demo，这里没有任何问题，因为.format("jdbc")是隐式，我们无需关注driver的适用性，但是，程序后台任然会报错，当我们写明用数据库类型之后，也会出现说，无法create table as select，这个mysql是不允许的。但是，以前我们的spark项目是可以的，就因为我使用了，新版本的spark吗？我知道csdn的活跃度很低，问了也是白问，stacko...

已经搞定了开发环境，很快需求就要下来.话不多说，我们开始配置一下先研究部分实时部分的代码逻辑，提供将来实时计算逻辑。[root@node1 ~]# cat kafka_output.sh for((i=0;i<=1000;i++));do echo "hello world haha haha hello haha haha kafka_test-"+$i>...

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell最后无侵入式的，实时的。主要区别：1、虽然Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。2、Canal是服务端，数据过来了并不能直接写出去，需要一个客户端：s...