dbc_zt的博客

优雅备份crontab

hadoop dfs -rmr && hdfs dfs -rmr解决方案报错1：rmr: DEPRECATED: Please use ‘-rm -r’ instead.rmr: Permission denied: user=user, access=ALL, inode="报错2：ERROR: JAVA_HOME is not set and could not be found. 错误方式一：hadoop fs -rmr /user/user/.Trash/2106

shell 文本处理三剑客sed awk grep各自的优势类型sedawkgrep是否要求格式化要求要求无要求支持正则标准正则标准正则扩展正则sed详解本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作sed 常用参数常用选项：Usage: sed [OPTION]… {script-only-if-no-other-script} [input-file]…-n∶使用安静(silent)模

CDH运维 oozie失败调度钉钉报警前言采用CDH集成的大数据架构，常用oozie作为调度工具，需要对任务进行监控，有用邮件的，有用钉钉通知的。因每天邮件太多，很容易忽略，因此采用时刻都在用的办公软件钉钉作为通知目录钉钉群自定义接口申请脚本开发自定义接口申请请参考之前blog：https://blog.youkuaiyun.com/dbc_zt/article/details/109781554脚本开发oozie架构oozie调度执行过的 job存放在 WF_JOBS 表/* *安装

CDH运维 impala服务异常监控 + 钉钉告警前言公司目录获取钉钉信息Python脚本发送钉钉信息设置定时任务获取钉钉信息获取到的webhook 与 加签webhook:https://oapi.dingtalk.com/robot/send?access_token=【AAAA】 （此处用【AAAA】代替真实环境数据）加签:【BBBB】 （此处用【BBBB】代替真实环境数据）编辑Python3.x脚本发送钉钉通知#!/home/user/nlpconda/

CDH运维 透明大页面前言维护CDH过程中，检查主机发现有一台机器开启过大透明页，出现性能告警，现将其关闭，顺便了解一下透明大页面目录解决方案了解什么是透明大页面解决方案正如报警所示，执行两段命令即可echo never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled为了防止系统重启，初始化更新上述值，还需如

CDH运维swap处理博主在使用CDH 6.2大数据平台时发现，CDH长时间运行，Cloudera Manager管理页面在运行Spark任务时候经常会出现组件大量内存交换警告，前期博主直接忽略，毕竟不是什么大问题，后期发现如果长时间黄色警告不处理，会误导页面查看集群状态，并且交换空间所占用磁盘空间越来越大，并且警告越来越多，后续还会有从黄色变为红色异常等情况，后进入管理界面发现，CDH在安装时，Linux操作系统，有选择交换空间地址交给CDH内存不足情况下使用，测试发现手动释放会解决，管理界面警告问题