窦永厚

sparkstream定时清除日志和重启

Flink日志分析实战笔记1.安装VM虚拟机2.安装centos7环境3.net网络配置TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAM

描述：突然某天凌晨收到企业微信，电话，短信，轰炸式的报警，某个关联销售数据计算转化的应用层数据某个小时分片数据缺数（0条）过程：基于以上问题，先去看了调度器的任务，没出问题，再去上一层DW表有数，看看维度表是否被人删了（一般不可能），然而有数并没啥问题，，，有点怀疑人生，又看了一轮，流式任务正常，kafka正常，flume正常，dw层正常，还奇怪啊，订单数据也正常但是spark任务跑的很稳定并无报销，奇怪啊，遇到什么灵异事件了啊，查看了yarn日志没报错，会不会是磁盘坏了，验证没问题啊，，，，基本是能想到

版本：Hadoop 2.7.4– 查看dfs帮助信息[root@hadp-master sbin]# dfsUsage: dfs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…][-chown [-R] [OWNER][:[GROUP]] PA

版本：Hadoop 2.7.4– 查看hadoop fs帮助信息[root@hadp-master sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…][-chown [-R] [O

ideaI快速入门一站式spark编程，下载安装idea、配置JDK3，maven，Scala，spark