16、Hadoop组件审计日志详解

Hadoop组件审计日志详解

1. Hadoop组件审计概述

Hadoop不同组件根据其用途对审计的处理方式有所不同。像HDFS和HBase这类数据存储系统，可审计事件主要集中在数据的读写和访问操作上。而MapReduce、Hive和Impala等查询引擎和处理框架，可审计事件则侧重于终端用户的查询和作业。

2. HDFS审计日志

HDFS提供了两种不同用途的审计日志：
- hdfs-audit.log ：用于审计一般用户活动，如用户创建新文件、更改文件权限、请求目录列表等。
- SecurityAuth-hdfs.audit ：用于审计服务级别的授权活动。

设置这些日志文件需要配置log4j属性，示例如下：

# other logging settings omitted
hdfs.audit.logger=${log.threshold},RFAAUDIT
hdfs.audit.log.maxfilesize=256MB
hdfs.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=
  ${hdfs.audit.logger}
log4j.additivity.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=false
log4j.appender.RFAAUDIT=org