qq_36108146的博客

最近集群压力较大，为了缓解集群压力，开始分析hdfs-audit log。对于hdfs-audit 审计日志，我们先看一些常用命令；cmd 命令解释：getfileinfomkdirssetAcl -- checkOperation(OperationCategory.WRITE);getAclStatus -- checkOperation(OperationCategor...

从SQL层面上分析：insert 操作：2019-02-18 18:14:35,396 INFO FSNamesystem.audit: allowed=true   ugi=hive (auth:SIMPLE)  ip=/ip.151        cmd=delete      src=/user/hive/.staging/job_1544610861281_0006      d...

今天，看了几篇hive压缩格式相关的博客觉得不错，在这里做一下提取要点汇总。0 前言数据做压缩和解压缩会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销，所以最好对那些I/O密集型的作业使用数据压缩，cpu密集型，使用压缩反而会降低性能。 而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用sn...