hive.server2.enable.doAs

最新推荐文章于 2024-09-04 17:28:16 发布
最新推荐文章于 2024-09-04 17:28:16 发布
阅读量3.9k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：https://yq.aliyun.com/articles/509941
本文介绍了HiveServer2中doAs参数的作用。当该参数设置为false时，YARN作业将以hive用户身份运行；若设置为true，则会以实际用户的名称运行。这一设置对于理解HiveServer2如何处理不同用户提交的任务至关重要。

hive.server2.enable.doAs设置成false则，yarn作业获取到的hiveserver2用户都为hive用户。

设置成true则为实际的用户名










本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/2066648，如需转载请自行联系原作者
Hive之set参数大全-15
m0_49620121的博客
01-26 1810
在 Hive 中，是一个参数，用于配置是否允许 Tez 会话使用自定义队列。该参数影响在 HiveServer2 中执行的 Tez 会话是否可以选择使用自定义的队列。以下是设置其中，是布尔值，用于启用或禁用 Tez 会话使用自定义队列。请注意，这样的设置只对当前 HiveServer2 会话有效，当 HiveServer2 重新启动时，设置将被重置为默认值。如果您希望永久性地更改配置参数，可以在 Hive 的配置文件中进行修改，并需要重新启动 HiveServer2 服务以使更改生效。
Hiveserver2源码剖析---如何实现代理用户
sinat_26781639的博客
03-22 1321
一、前言 本文主要关于基于hive2.3.6版本的hiveserver2源码部分剖析。 二、背景 前段时间做chdfs迁移，发现beeline连接hiveserver2的用户在hdfs创建的临时目录变成了hive。其中代理用户并未起效果，感觉chdfs有代理用户上的bug。然后翻看了下hiveserver2服务端和客户端连接的代码。（hive.server2.enable.doAs 已经设置为 true） 正常情况下： 代理用户不起效果： 三、服务端启动 1、Hiveserver2 public s
HiveServer2 Impersonation
weixin_34082789的博客
10-20 444
CDH4.2.0开始支持hiveserver2的impersonation,只需要设置参数hive.server2.enable.impersonation(该参数在Hive里是HIVE_SERVER2_KERBEROS_IMPERSONATION，容易被误会和kerberos一起使用)为true即可，这样可以使得提交的HQL以提交用户来运行MAPREDUCE而不是运行Hiv...
hive 入门 配置hiveserver2 (三)
weixin_43205308的博客
04-10 2643
Hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。
Mapr与Hive工作（二）——使用HiveServer2
maoxiao_jsd的专栏
01-02 3510
HiveServer2允许多个并发连接到蜂巢服务器在网络上。 HiveServer2是作为对在MAPR分布为Apache Hadoop的蜂房0.9.0基本版本的补丁。请参阅  安装配置单元  安装的详细信息。该  MAPR-蜂巢  包包括HiveServer1和HiveServer2，你可以选择运行哪一个。 此页面包含了以下主题： 配置蜂房的HiveServer2 启用
mysql getvar_Hive 0.11 升级踩坑记——HiveServer2的imperson问题
weixin_31297157的博客
02-07 201
前阶段线上在做Hive升级(CDH4.2.0 Hive 0.10——> Apache Hive0.11 with our patches)和Shark上线踩了不少坑，先来说一个Hiveserver的问题.beeline进入后随便执行一个查询就会报错：USERxxx don’t have write privilegs under /tmp/hive-hdfs不对啊，已经启用了imperson...
Hive HA (高可用)搭建
chooser007的博客
07-04 1157
官方文档 hive的搭建方式有三种，分别是 1、Local/Embedded Metastore Database (Derby) 2、Remote Metastore Database 3、Remote Metastore Server 一般情况下，我们在学习的时候直接使用hive –service metastore的方式启动服务端，使用hive的方式直接访问登录客户端，除了这种方式之外，hive提供了hiveserver2的服务端启动方式，提供了beeline和jdbc的支持，并且官网也提出
HIVE遇到的配置项纪录---持续更新
bh520ys的博客
03-06 528
hive.warehouse.subdir.inherit.perms=false <description>true if table directories should inherit the permissions of the warehouse or database directory instead of being created with permissions ...
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
明哥的IT随笔
09-22 2187
CDP中如何做到不同业务用户的 HIVE 作业提交到不同的 YARN 队列，以达到资源隔离的目的？
HiveServer2-JDBC及用户权限测试
07-16
HiveServer2-JDBC及用户权限测试
已为 Hive Server2 角色“HiveServer2 (master)”启用 Hive Impersonation。应禁用 Hive Impersonation 以启用使用 Sentry 的
m0_37541370的博客
05-22 240
报错信息：
探索Hive用户权限（二）：HiveServer2安全访问Hive
changlina_1989的博客
07-23 4622
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
【大数据之Hive】五、Hiveserver2服务部署
阿宁的博客
05-31 2958
hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上，保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时，由hiveserver请求HDFS或者提交计算任务到Yarn上，再由hiveserver2将结果返回给客户端。用户即由hiveserver2代理进行远程访问Hadoop集群的用户。
python 连接 hive 的 HiveServer2 的配置坑
weixin_30294295的博客
03-04 557
环境： hadoop 2.7.6 hive 2.3.4 Hive 的thirft 启动： hadoop 单机或者集群需要： 启动 webhdfs 修改 hadoop 的代理用户　 <property> <name>hadoop.proxyuser.hadoop.hosts</name> <valu...
Hive服务部署及Datagrip工具使用
qq_45115959的博客
09-04 2645
目录Hive服务部署 Hiveserver2服务1）用户说明2）Hiveserver2部署（1）Hadoop端配置（2）Hive端配置3）测试（1）启动Hiveserver2（2）使用命令行客户端beeline进行远程访问（3）使用Datagrip图形化客户端进行远程访问① 创建连接② 配置连接属性③ 界面介绍④ 测试SQL执行⑤ 修改数据库 Metastore服务1）Metastore运行模式2）Metastore部署（1）嵌入式模式（2）独立服务模式3）测试 编写Hive服务启动脚本（了解）1）前台启动
Hive的授权机制——总体介绍
MAYIBO—BG的专栏
03-02 1647
原文：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Authorization 概述 该文档介绍hive的权限控制机制，也就是某个用户是否有权限执行某个特定的操作。并不是讨论认证机制（验证用户的身份）。使用kerberos可以为类似于hive命令行这样的工具提供一种强认证。对于Hiveserver2，还有一...
日志审计系统_深入理解HiveServer2审计日志_0基础白帽子入门教程
程序员六七的博客
07-26 521
HiveServer2审计日志是监控和诊断Hive Server2操作的重要工具。本文将详细解析审计日志的结构和内容，以及如何利用这些信息。
Hive的hiveserver2和beeline的使用以及spark thritfserver的启动
a18792721831的博客
02-24 6412
Hive的hiveserver2和beeline的使用以及spark thritfserver的启动Hive 的hiveserver2介绍hiveserver2 的配置beeline连接hiveserver2配置hiveserver2的界面spark thriftserver的配置beeline 连接spark thriftserverthriftserver和spark-sql对比spark sql 程序连接thriftserver Hive 的hiveserver2介绍 HiveServer2 (HS2
SQL 错误 [1] [08S01]: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwx------ at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:311) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:238) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1753) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1737) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner(FSDirectory.java:1682) at org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setPermission(FSDirAttrOp.java:64) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1781) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:830) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:469) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:503) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:871) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:817) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1893) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2606) at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:380) at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:257) at org.apache.hive.service.cli.operation.SQLOperation.access$800(SQLOperation.java:91) at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:348) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1893) at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:362) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:750) Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwx------ at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:350) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:311) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:238) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:189) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1753) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1737) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner(FSDirectory.java:1682) at org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setPermission(FSDirAttrOp.java:64) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1781) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:830) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:469) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:503) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:871) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:817) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1893) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2606)
最新发布
06-19
步骤4：检查Hive的hive-site.xml配置确保Hive配置中设置了正确的用户模拟（impersonation）：<property><name>hive.server2.enable.doAs</name><value>true</value></property>如果设置为true，则HiveServer2会以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值