Sentry Beeline

最新推荐文章于 2024-11-05 16:37:36 发布
转载 最新推荐文章于 2024-11-05 16:37:36 发布 · 822 阅读 · 0

本文介绍如何在Ubuntu上安装Maven并编译Sentry源码，配置Sentry环境，以及将Sentry与Hive集成的过程。包括数据库配置、路径设置、服务运行等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

Ubuntu STL 16.0.4
Hadoop 2.7.4
Hive   2.1.1
sentry 1.7.0
maven  3.5.0

//注：伪分布式环境

安装maven

1.apache maven官网下载maven，用于编译sentry源码。 
2.修改～／.bashrc文件，添加maven路径。

export  MAVEN_HOME=/etc/usr/local/maven 
export  PATH=$PATH:MAVEN_HOME/bin

3.使.bashrc生效source ~/.bashrc。 
4.执行mvn -v 可查看maven是否安装成功。

编译sentry源码

  1. 在apache sentry官网下载sentry源码（很有意思，官网上没有直接运行的binary文件，只有源码，所以需要maven编译）。
  2. 在README.md文件里可知，在apache-sentry-1.7.0-src文件夹里执行mvn install -DskiTests 即可进行编译。 
    这里写图片描述
  3. 当终端出现下图情况时即编译成功： 
    这里写图片描述
  4. 编译结果在apache-sentry-1.7.0-src/sentry-dist/target/apache-stnery-1.7.0下。 
    这里写图片描述

编译结果上传至百度网盘，密码: e5hp。

配置sentry环境

  1. 将mysql-connector的jar包拷入sentry/lib下 
    sudo mv mysql-connector-java-5.0.8-bin.jar /usr/local/sentry/lib

  2. 修改sentry-site.xml文件

    注意：在sentry/conf下有sentry-site.xml.service.template和sentry-site.xml.hive-client.template两种类型的文件，其中service文件是用于在sentry/conf下配置sentry环境的，hive-client文件是需要拷贝到hive/conf下配置hive和sentry关联的。

    参考sentry-site.xml.service.template修改sentry-site.xml，sudo cp sentry-site.xml.service.template sentry-site.xml；

<!-- 修改内容 -->
<property> 
    <name>sentry.store.jdbc.url</name>  
    <value>jdbc:mysql://localhost:3306/sentry</value> 
</property>  

<property> 
    <name>sentry.store.jdbc.driver</name>  
    <value>com.mysql.jdbc.Driver</value> 
</property>  

<property> 
    <name>sentry.store.jdbc.user</name>  
    <value>sentry</value> 
</property>  

<property> 
    <name>sentry.store.jdbc.password</name>  
    <value>sentry</value> 
</property> 

<!-- 关闭security.mode -->
<property>
    <name>sentry.service.security.mode</name>
    <value>kerberos</value>
</property>

<property>
    <name>sentry.service.server.principal</name>
    <value></value>
</property>

<property>
     <name>sentry.service.server.keytab</name>
     <value></value>
</property>

<!-- 添加内容 -->
<property> 
    <name>sentry.service.server.rpc-address</name>  
    <value>localhost</value> 
</property>  

<property> 
    <name>sentry.service.server.rpc-port</name>  
    <value>8038</value> 
</property>

注释： 
sentry默认数据库不是mysql，所以默认驱动也不是mysql 的，所以前四个是将数据库相关信息修改为mysql的。 
因为对sentry还不是很了解，所以先把其他多余的服务关闭，配置好环境再说。T_T 
后面添加内容用于监听localhost:8038端口，原本sentry-site.xml.service.template里面没有，是自己添加的。经测试不添加也可以，应该是默认端口号就是8038。

为sentry配置数据库和路径

1.配置数据库

CREATE DATABASE sentry;
CREATE USER sentry IDENTIFIED BY 'sentry';
GRANT all ON sentry.* TO sentry@'%' IDENTIFIED BY 'sentry';
flush privileges;

2.配置sentry路径

export SENTRY_HOME=/usr/local/sentry
export PATH=$PATH:$SENTRY_HOME/bin

执行 sentry -v ，如果出现如下所示即配置成功： 
这里写图片描述

运行sentry服务

如果是第一次运行sentry服务需要提前初始化元数据库，命令如下：

sentry --command schema-tool --conffile /usr/local/sentry/conf/sentry-site.xml --dbType mysql --initSchema
  • 1

运行sentry命令：

sentry --command service --conffile /usr/local/sentry/conf/sentry-site.xml

如果报错： 
could not create SeverSocket on address localhost/127.0.0.1:8038 
这里写图片描述
则可能metastore已经启动，如果想要重新启动sentry需要先关闭之。 
执行命令jps，kill －9 pid即可。 
这里写图片描述

出现如下界面说明已经运行起来了： 
这里写图片描述

serving on localhost/127.0.0.1:8038

hive集成sentry

1.将sentry-site.xml.hive-client.template拷贝到hive/conf下：

sudo mv /usr/local/sentry/conf/sentry-site.xml.hive-client.template  /usr/local/hive/conf/sentry-site.xml

2.修改hive-site.xml

<!-- Hive Metastore集成Sentry -->
<property>
    <name>hive.metastore.pre.event.listeners</name>
    <value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
</property>

<property>
    <name>hive.metastore.event.listeners</name>
      <value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
    </property>


<!-- Hive-server2集成Sentry -->
<property>
    <name>hive.server2.enable.impersonation</name>
    <value>true</value>
</property>

<property>
    <name>hive.security.authorization.task.factory</name>
     <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>

<property>
     <name>hive.server2.session.hook</name>
     <value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>
</property>

<property>
     <name>hive.sentry.conf.url</name>
     <value>file:///usr/local/hive/conf/sentry-site.xml</value>
</property>

3.修改sentry-site.xml 
注意！这里改的是hive/conf/sentry-site.xml而不是sentry/conf下的！！！！

    <property>
       <name>sentry.service.client.server.rpc-port</name>
       <value>8038</value>
    </property>

    <property>
       <name>sentry.service.client.server.rpc-address</name>
       <value>localhost</value>
    </property>

    <property>
       <name>sentry.service.client.server.rpc-connection-timeout</name>
       <value>200000</value>
    </property>

    <!--以下是客户端配置-->
    <property>
        <name>sentry.provider</name>
        <value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>
    </property>

    <property>
        <name>sentry.hive.provider.backend</name>
        <value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>
    </property>

    <property>
        <name>sentry.metastore.service.users</name>
        <value>hive</value><!--queries made by hive user (beeline) skip meta store check-->
    </property>

      <property>
        <name>sentry.hive.server</name>
        <value>localhost</value>
      </property>

     <property>
        <name>sentry.hive.testing.mode</name>
        <value>true</value>
     </property>

注释： 
Sentry 的使用有两种方式，一是基于文件的存储方式（SimpleFileProviderBackend），一是基于数据库的存储方式（SimpleDbProviderBackend），如果使用基于文件的存储则只需要安装sentry，否则还需要安装 sentry-store。

3.hive添加对sentry的依赖

创建软链接：

sudo cp /usr/lcoal/sentry/lib/sentry-binding-hive-1.7.0.jar /usr/lcoal/sentry/lib/sentry-binding-hive.jar
sudo ln -s /usr/lcoal/sentry/lib/sentry-binding-hive.jar /usr/lcoal/hive/lib/sentry-binding-hive.jar
  • 1
  • 2

4.重新初始化元数据库 
重新配置hive-site.xml之后立马运行hive，执行操作时汇报如下错误： 
这里写图片描述
这时需要重新初始化元数据库。 
需要先把愿元数据库中的hive_metadata删掉，然后在执行初始化操作。

mysql -u hive -p hive
show databases;
drop database hive_metadata;
quit;

schematool -dbType mysql -initSchema

这里写图片描述
初始化成功

注意： 
在hive更改完sentry相关配置之后进入hive页面执行查询数据库命令（show databases;）时，会出现错误。 
这时把sentry/lib下sentry*.jar和solr*.jar拷贝到hive/lib/下，然后就能在hive下执行查询操作了

hive集成sentry测试

Sentry权限控制通过Beeline（Hiveserver2 SQL 命令行接口）输入Grant 和 Revoke语句来配置。语法跟现在的一些主流的关系数据库很相似。

需要注意的是：当sentry服务启用后，我们必须使用beeline接口来执行hive查询，Hive Cli并不支持sentry。

参考内容

安装和配置Sentry 
Apache Sentry安装及简单使用 
测试Hive集成Sentry 
Impala和Hive集成Sentry





beeline 常用语法： 
1. beeline -u “jdbc:hive2://nn02:10000/default” -n maxiaoli -e “select * from mxl_hive;” 
-u : 连接信息 
-n：登陆用户 
-e：执行hql 
2. beeline -u “jdbc:hive2://nn02:10000/default” -n maxiaoli -i query.hql 
3. 输入beeline 进入，输入！connect 连接串 在输入用户名和密码 即可登陆 
这里写图片描述

除了进入beeline进行操作，在脚本中以前的hive -e/-f 就不能使用，现在就我遇到的问题进行总结，以及和hive进行对比。假如hive 有这样的一张表 test

nameage
mxl20
zhangsan21
  1. hive -e “select * from ”> test.txt
mxl 20
zhangsan 21
  • 1
  • 2

beeline

beeline -u "jdbc:hive2://localhost:10000/default" -n admin--silent=true --showHeader=false --outputformat=csv  -f new.sh  > mxl.log
  • 1

不显示查询头，以静默的方式导出csv文件，当然 -f 后面是hql 查询文件，也可以-e “query” 。 
beeline -f 和 -e 默认的查询结果都带有表信息，mr过程等内容。







apache sentry安装
约瑟夫的杂货店
10-19 1297
环境Ubuntu STL 16.0.4 Hadoop 2.7.4 Hive 2.1.1 sentry 1.7.0 maven 3.5.0//注：伪分布式环境安装maven1.apache maven官网下载maven，用于编译sentry源码。 2.修改～／.bashrc文件，添加maven路径。export MAVEN_HOME=/etc/usr/local/maven export
错误监控——sentry源码
riddle1981的博客
09-15 1027
sentry-javascript为语言包，在该语言包下包含各项平台包。
Hive集成Sentry后Beeline create function
weixin_34365417的博客
12-01 347
2019独角兽企业重金招聘Python工程师标准>>> ...
sentry 之 ubuntu版本安装配置
weixin_33743248的博客
12-14 158
#可以参看这篇文档http://www.axiaoxin.com/article/79/apt-getinstallpostgresqllibxml2libxml2-dev\ postgresql-server-dev-9.3/trusty-updatespython-dev pipinstallpsycopg2 apt-getupdate apt-geti...
Sentry 权限模型之授权策略SQL
帆了个帆的专栏
10-31 5377
接上一篇hive 集成sentry继续来看下sentry的授权体系 使用hive用户登陆,在这个hive用户是在$HIVE_HOME/conf/sentry-site.xml中配置， &lt;property&gt; &lt;name&gt;sentry.metastore.service.users&lt;/name&gt; &lt;value&gt;hive&lt;/val...
sentry测试
05-19
sentry 测试！shell 脚本，涉及多维测试！
Sentry权限赋权示例
sharkdoodoo
09-18 2514
连接sentry 使用beeline [root@host1 ~]# beeline -u "jdbc:hive2://host1:10000/" -n hive -p hive -d org.apache.hive.jdbc.HiveDriver Connecting to jdbc:hive2://host1:10000/ Connected to: Apache Hive (versio...
hiveserver2 和beeline_Hive-cli与Beeline的区别
weixin_39928844的博客
12-18 973
Hive-cli与Beeline的区别hive-cli 是hive连接hivesever的命令行工具，从hive出生就一直存在，但随着hive功能的增强、bug的修复、版本升级，hive-cli结构的局限性跟不上hive的发展，如果强行更改就不能满足向下兼容，就出现了全新的beeline命令行结构，即就是hive-cli能做的事beeline都能做，而beeline能做的事hive-cli不一定能...
sentry权限管理设置实例
梦忆故城的博客
08-17 2418
请参考https://blog.youkuaiyun.com/u013168084/article/details/99690290，自行安装sentry。 1.Hive/Impala/Hue/HDFS服务集成sentry 1.1hive配置 配置Hive使用Sentry服务 关闭Hive的用户模拟功能 集群未启用安全认证环境下，需要配置以下参数 1.2impala配...
在Linux中进行sentry部署安装
weixin_43268590的博客
05-27 1923
安装sentry有两种方法
【Sentry使用】【Py】Python代码编译后无法进入Sentry
MacwinWin的博客
02-22 714
最近的项目出现一个问题：对项目进行编译，运行一切正常，也没有任何报错，就仅仅是在Sentry前端无法显示任何相关执行记录。不编译则恢复正常。 最外层代码为main.py，long.py，zhuo.py三个文件 使用setup.py文件进行编译 # main.py from sentry_sdk import start_transaction from threading import Thread import zhuo import long with start_transaction(op='xx
如何使用vs2015 编译sentry native 0.4.4版本
停摆的大笨钟的博客
11-25 770
Sentry介绍 sentry是一个实时事件日志记录和聚合平台。它专门用于监视错误和提取执行适当的事后操作所需的所有信息, 而无需使用标准用户反馈循环的任何麻烦。 Sentry 是一个日志平台，分为客户端和服务端，客户端(目前客户端有Python, PHP,C#, Ruby等多种语言)就嵌入在你的应用程序中间，程序出现异常就向服务端发送消息，服务端将消息记录到数据库中并提供一个web节目方便查看。Sentry由python编写，源码开放，性能卓越，易于扩展，目前著名的用户有Disqus, Path, moz
大数据权限管理框架：Apache Sentry和Ranger
Sunny的专栏
04-11 1096
一、简介 Apache Sentry： Sentry是由Cloudera公司内部开发而来的，初衷是为了让用户能够细粒度的控制Hadoop系统中的数据（这里主要指HDFS，Hive的数据）。所以Sentry对HDFS，Hive以及同样由Cloudera开发的Impala有着很好的支持性。 Apache Ranger： Ranger则是由于另一家公司Hortonworks所主导。它同样是做细粒度的权限控制。但相比较于Sentry而言，它能支持更丰富的组件，包括于 HDFS, Hive, HBase, Yar
使用Java API连接Apache Sentry
硬学AI工坊
11-02 1170
文章目录准备工作代码构建 工作中需要使用Java API来连接Sentry，但是很神奇地发现Sentry的官网没有API文档，经过一番搜索和试错之后最终搞定了，在此分享一下。 准备工作 假设sentry服务运行在 SENTRY_HOST上，Sentry RPC的默认端口是 8038。一般来说，如果在CDH里使用了Sentry服务的话，Kerberos应该已经启用了，所以连接Sentry需要进行Ke...
Apache Sentry架构介绍
weixin_33709364的博客
04-08 1085
介绍 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase。 特性...
Apache Sentry教程
gitblog_00642的博客
08-07 581
Apache Sentry教程 项目介绍 Apache Sentry 是一个用于大数据平台的数据访问控制解决方案，它提供了一种细粒度的权限管理机制，确保不同用户和应用程序能够安全地访问Hadoop生态系统中的数据。Sentry最初是作为Cloudera的一个项目发展起来的，后来成为了Apache软件基金会的顶级项目。它的设计目的是与Hive、Impala、Solr、Spark等组件集成，以实现对...
[sentry源码阅读] event请求与写入过程初步剖析
ffantastic的博客
01-20 3278
客户端向sentry服务发送一个错误日志在sentry内部被称为event，以js客户端为例，异常发送时的请求url为： http://localhost:8000/api/2/store/?sentry_version=7&sentry_client=raven-js%2F3.8.1&sentry_key=36db8da42fa84f83bac146be5096815c sentry后台基于
Apache Sentry 常见问题解决方案
gitblog_01117的博客
11-05 386
Apache Sentry 常见问题解决方案 项目基础介绍 Apache Sentry 是一个高度模块化的系统，旨在为 Apache Hadoop 集群中存储的数据和元数据提供细粒度的基于角色的授权。Sentry 的主要编程语言是 Java，它还包括 TSQL、JavaScript、Thrift、XSLT 和 Shell 等其他语言。 新手使用注意事项及解决方案 1. 编译环境配置问题 问题描述：...
学习 sentry 源码整体架构，打造属于自己的前端异常监控SDK
u012384510的博客
11-01 1508
前言这是学习源码整体架构第四篇。整体架构这词语好像有点大，姑且就算是源码整体结构吧，主要就是学习是代码整体结构，不深究其他不是主线的具体函数的实现。文章学习的是打包整合后的代码，不是实际...
sentry默认用户名密码
最新发布
05-19
对于 Sentry 的安装与配置过程，其用户管理和身份验证主要通过以下几种方式进行： 1. **LDAP 集成** 如果启用了 LDAP 插件，可以通过 Docker 容器内部命令完成相关依赖包的安装以及插件启用操作[^3]。此时，默认...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值