0698-6.2.0-Navigator审计日志查看对应用户的操作

最新推荐文章于 2024-01-03 15:25:46 发布
原创 最新推荐文章于 2024-01-03 15:25:46 发布 · 942 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#navigator

本文档介绍了Cloudera Navigator的审计功能，通过测试不同用户的HDFS、Hive、Impala、Spark和Hue操作，验证审计日志能否记录数据量信息、文件操作大小、越权访问等。结果显示，虽然能记录操作失败，但无法提供详细信息如文件大小或失败原因。审计日志可导出为CSV或JSON，也可通过API接口查询。

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

CDH集群中有数据管理的组件Cloudera Navigator，本文档主要介绍这个组件的其中一个功能：审计，Cloudera Navigator审计可以从选定的集群服务收集一些事件，用户可以在控制台查看这些审计的日志，可以使用可配置的过滤器进行搜索，快速得到相关的信息，并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。

2 测试环境

集群的环境为CDH6.2.0
集群服务器的OS版本为RedHat7.2

1.集群已启用Kerberos
在这里插入图片描述
2.集群已安装Sentry
在这里插入图片描述
3.Hive的用户模拟已关闭
在这里插入图片描述
4.HDFS ACL已开启
在这里插入图片描述

3 创建用户进行操作

1.在OS和Kerberos中创建几个用户用于测试
在这里插入图片描述
2.使用不同的用户访问服务，用于测试审计日志中用户的区分

使用test_hdfs_audit用户操作HDFS

  • 登陆Kerberos
    在这里插入图片描述

  • 上传文件到HDFS
    在这里插入图片描述

  • 查看文件
    在这里插入图片描述

  • 删除文件
    在这里插入图片描述

使用test_hive_audit操作Hive

  • 登陆Kerberos

在这里插入图片描述

  • beeline登陆Hive

在这里插入图片描述

  • 建表

在这里插入图片描述

  • 插入数
最低0.47元/天 解锁文章
干货 | 日均TB级数据，携程支付统一日志框架
携程技术
09-10 1575
作者简介英明，携程数据研发专家，负责支付离线数据仓库建设及BI业务需求，对并行计算、大数据处理及建模等有浓厚兴趣。一、背景支付中心作为携程集团公共部门，主要负责的业务包括交易、实名绑卡...
VMware-converter-6.2.0-73483980.rar
08-01
VMware-converter-6.2.0-73483980.rar 是一个包含VMware vCenter Converter 6.2.0版本的压缩包文件，其主程序是"VMware-converter-6.2.0-7348398.exe"。该程序提供了全面的迁移功能，能够帮助用户将物理服务器无缝地...
Hive 中的日志
热门推荐
东杰书屋
08-04 2万+
日志记录了程序运行的过程，是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ？ 在hive/conf/ hive-lo
hive 查看 job 日志_大数据hive，storm小知识（干货）
weixin_39637260的博客
11-29 816
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。为什么要使用Hive? 1) 从SQL角度，简单、容易上手、使用方便。 2) 从Hadoop角度，可以操作大规模的数据集，可以作为大数据的引擎。 3) 从MetaStore角度:有了这个之后，这些框架...
hive 取消打印日志信息_舍弃Hive、拥抱SparkSQL，有赞的大数据实践
weixin_39711441的博客
10-22 282
本文由 「AI前线」原创（ID：ai-front），原文链接：舍弃Hive、拥抱SparkSQL，有赞的大数据实践作者 | 邹晨俊来源 | 授权转载自微信公众号有赞Coder（ID：youzan_coder）编辑 | NatalieAI 前线导读：有赞数据平台从 2017 年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量 5000 ...
Hive开启审计日志
m0_50836167的博客
03-22 4151
CDH5和CDH6开启审计日志的方式有点区别 免费拿走不谢 CDH6.x Hive的版本的2.x，使用的log4j2，开启审计日志如下： appenders=AUDIT appender.AUDIT.type=RollingRandomAccessFile appender.AUDIT.name=AUDIT appender.AUDIT.fileName=${log.dir}/hive_audit.log appender.AUDIT.filePattern=${log.dir}/hive_audit.%
VMware-converter-en-6.2.0-8466193.zip
06-06
VMware vCenter Converter 可将基于 Windows 和 Linux 的物理机以及第三方映像格式转换为 VMware 虚拟机。...借助集中式管理控制台，用户可对多个同时进行的本地和远程转换（如在总部和分支办公室）进行排队和监控。
VMware-converter-en-6.2.0-8466193.exe.zip
05-01
在本案例中，提供的压缩包文件"VMware-converter-en-6.2.0-8466193.exe.zip"包含了主要的安装程序文件"VMware-converter-en-6.2.0-8466193.exe"，这正是用户下载并安装VMware Converter的执行文件。 VMware ESXi 是...
VMware-converter-6.2.0.zip
12-04
关于导入到ESXi 6.5的兼容性，这表明Converter 6.2.0与VMware的较新版本有良好的互操作性，可以确保虚拟机在升级的基础设施上正常运行。 在实际操作中，使用"VMware-converter-en-6.2.0.exe"文件开始安装和运行...
Hive 的日志路径查看
最新发布
weixin_61938673的博客
01-03 2647
修改配置可以在 /etc/hive/conf/下的hive-site.xml配置的hive.querylog.location，修改完毕后重启hive服务。修改配置可以在 /etc/hive/conf/下的hive-env.sh配置的hive.log.dir ，修改完毕后重启hive服务。进入hive shell 窗口，执行以下命令，将显示当前配置的系统日志属性值，默认为/var/log/hive。进入hive shell窗口，执行以下命令，将显示当前配置的属性值，默认为tmp/hive。
Hive 的日志和监控工具
互联网知识分享
08-06 1885
通过设置合适的日志级别，可以控制日志的详细程度和输出量。而监控工具可以提供集中的监控界面，方便管理员进行集群的监控和管理。在实际应用中，可以根据具体需求选择合适的监控工具，并通过配置文件进行相应的设置。可以通过集成各个组件的监控工具，提供一个统一的监控界面，方便管理员进行集群的监控和管理。的稳定运行和及时发现问题，日志和监控工具是必不可少的组成部分。通过设置不同的日志级别，可以控制日志的详细程度和输出量。的日志和监控工具，包括其原理、使用方法和示例代码。的日志级别、查看日志文件，并使用不同的监控工具监控。
hiveserver2日志配置
qq_32068809的博客
06-30 2373
刚安装的hive需要到将conf/hive-log4j2.properties.template文件更名为hive-log4j2.properties，并将其内容中的property.hive.log.dir配置项设置为正确的日志路径，这样开启hiveserver2后就会在该路径下看到启动日志
Hive实战之日志分析
wulantian的专栏
06-03 9707
Hive实战之日志分析  学习，存储，转载 一、场景介绍 本文主要讲述使用 hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量
Hive中的日志
CharlesCFA的博客
03-06 3483
如果Hive出错了，我们该怎么办呢，当然是去查找日志了！ Hive中的日志分为两种 系统日志，记录了hive的运行情况，错误状况。 Job 日志，记录了Hive 中job的执行的历史过程。 1. 系统日志 系统日志存储在什么地方呢 ？ 在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况， 默认的存储情况： hive.root.logger=WARN,DRFA hive.log.dir=/tmp/${user.name} # 默认的存储位置 hive.l
Hadoop审计日志配置[转自 AIMP平台wiki]
AILK--配置管理中心
06-11 9395
Hadoop审计日志配置 hdfs审计 log4j.properties 中配置（缺省就包含） hdfs.audit.logger=INFO,NullAppender hdfs.audit.log.maxfilesize=256MB hdfs.audit.log.maxbackupindex=20 log4j.logger.org.apache.hadoop.hdfs.server.na
hive审计日志开启保存
smallnetvisitor的博客
06-11 3007
需求： hive在0.9之后加入的审计日志，具体的信息在metastore下的org.apache.hadoop.hive.metastore.HiveMetaStore 开启hive的审计日志，并做其分析 实现： 1.先保存其日志，格式为：org.apache.hadoop.hive.metastore.HiveMetaStore.AUDIT_FORMAT 基于log4j，针对不同的...
hive如何打开日志
天天臭乐呵
07-05 2968
在默认的日志级别情况下，是不能将DEBUG信息输出的，这样一来出现的各种详细的错误信息都看不到。我们可以通过以下两种方式修改log4j输出的日志级别，从而利用这些调试日志进行错误定位，具体做法如下：  $ hive --hiveconf hive.root.logger=DEBUG,console （hive启动时用该命令替代）或者在${HIVE_HOME}/conf/hive-log4j.pro...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值