大数据平台安全加固

大数据平台安全加固

1.备份元数据

对元数据进行异地冷备以保证元数据安全。

分别对Hive、Ambari、Ranger和Oozie进行元数据备份。Hive元数据、Ambari元数据、Ranger元数据和Oozie元数据都是指MySql中meta表，需对其进行异地冷备以保证元数据安全。对元数据库进行定期备份，以及滚动删除备份文件设置等。

 

2.开启高可用功能（HA）

开启服务的高可用功能，可以规避单节点故障。

分别开启NameNode HA、ResourceManager HA、Hmaster HA、HiveServer2 HA、Hive MetaStore HA以及LDAP HA等服务的高可用功能。

 

3.认证授权审计功能

为了增强数据访问的安全管控，需采取措施加强安全加固。

使用LDAP或者Kerberos认证，应用Ranger授权及审计功能，并要通过实例认证。

 

4.Hbase安全

为了保障hbase数据安全性，需采取措施进行安全加固。

增加重点数据表的Snapshot功能，以保障数据安全性。

 

5.HDFS安全

为了增强HDFS数据安全性、增加数据恢复几率、增强数据安全性以及降低HDFS故障风险等，需采取措施对HDFS进行安全加固。

通过部署HDFS的Snapshot功能，增强HDFS数据安全性。

通过设置trash 参数fs.trash.interval和fs.trash.checkpoint.interval来开启HDFS垃圾回收站机制，增加数据恢复几率。

通过设置dfs.namenode.startup.delay.block.deletion.sec来开启HDFS Block异步删除机制，增加数据恢复几率。

通过设置dfs.replication来开启HDFS Block副本数机制，增强数据安全性。

通过检查NameNode主备节点FsImage文件同步情况，降低服务出现异常的风险。

通过JournalNode edits文件异地冷备设置，增强editlog文件数据安全性。

通过对Files、Blocks数量控制，降低HDFS故障风险。

通过对HDFS空间使用率阈值控制，降低HDFS故障风险。

通过对存储节点磁盘使用率均衡操作，降低HDFS故障风险。

通过禁用WebHDFS来防止无认证及授权的HDFS文件操作，降低HDFS安全风险。