weixin_43079984的博客

原创 canal client指定binlog的position启动

先停止canal服务在canal目录下的logs目录中查看meta.log文件查看最近数据库操作的Position修改instance的meta.dat文件修改position到指定位置重启canal服务参考博文：https://blog.youkuaiyun.com/silentwolfyh/article/details/82684203...

原创 sqoop导入mysql数据到hive/HDFS，timestamp类型数据改变13小时

这是mysql时区问题不管差了几小时，就是时区的问题先用date -R查询本地时区+0800 表示是东八区时间格式是CST时间然后在mysql中查看时区此时time_zone的值应该显示为SYSTEM(上图是我已经更改后的)问题就出在这里，CST时间定义其实很混乱，很多人认为是中国标准时间，其实不然。我们要看time_zone的具体数值，需要将mysql中的time_zone改...

原创 flink消费kafka报错：org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V

flink消费kafka上数据时报错：Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V错误原因：Flink的kafka Consumer版本和kafka-client的版本不一致解决方案：三者版本一致正确配...

原创 CDH5.15.0 kafka调试报错Connection to node -1 could not be established. Broker may not be available.

在CDH5.15.0版本集群中加入kafka服务后，使用kafka自带的命令行生产者kafka-console-producer和命令行消费者kafka-console-consumer进行调试时，producer端启动，输入消息回车后报错WARN clients.NetworkClient: [Producer clientId=console-producer] Connection to n...

原创 spark-submit报错java.lang.IllegalStateException: User did not initialize spark context!

在IDEA上编写spark程序，打成jar包之后，上传到服务器，然后以yarn cluster模式提交:bin/spark-submit --class com.BRC.spark.WordCount --master yarn --deploy-mode cluster ./wordcount-1.0-SNAPSHOT.jar hdfs://test-szzt01:8020/test/hello...

原创 IDEA创建maven工程时plugins无法引入

maven版本与IDEA版本不兼容，推荐使用IDEA自带的maven

原创 IDEA maven导入plugins出错，无法导入

可能是IDEA与maven的版本不兼容，使用IDEA自带的maven插件即可，在settings----->maven中配置即可

原创 spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

./bin/spark-shell启动shell环境后，提交命令sc.textFile(“hdfs://test-szzt01:9000/test/hello.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).saveAsTextFile(“hdfs://test-szzt01:9000/test/output”)spark报异常这里时H...

原创 CDH版本spark报Exception in thread "main" java.lang.NoClassDefFoundError:org/slf4j/impl/StaticLoggerBind

原因是/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/jars目录下缺少jar包slf4j-log4j12-1.7.5.jar即使有相关的jar包也要看slf4j和log4j版本是否能匹配参考博文https://blog.youkuaiyun.com/langtian08/article/details/82015017https://bl...

原创 flink on yarn 任务提交出错，报AskTimeoutException和java.util.concurrent.CompletionException异常

部署flink on yarn时报错任务提交命令：/opt/module/flink-1.6.4/bin/yarn-session.sh -n 3 -s 6 -jm 1024 -tm 1024 -nm test -d提交yarn-session成功/opt/module/flink-1.6.4/bin/flink run -m yarn-cluster examples/batch/W...

原创 Flink on yarn报错：Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: use

原创 CDH 5.12.1安装部署时hue数据库测试j连接不通过

在使用CM web页面进行集群部署时，hue数据库连接测试不通过解决办法：安装MySQL-shared-compat-5.6.41-1.el6.x86_64.rpm安装完成后即可测试通过

原创 spark-shell启动报错--无法连接master

①spark standalone模式无法启动，连接master失败，但是集群用jps查看时，master明明已经启动。②spark-shell on yarn启动时，无法创建sc。原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。...