黄刚的技术博客

cli1003    private CommandProcessorResponse runInternal(String command, boolean alreadyCompiled)        preDriverHook408     public int compile(String command, boolean resetTaskIds)314     pub

整体思路1、整合Cloudera的sentry，原因是其本身可以嵌入hive、impala、kafka等代码，提供统一的权限控制逻辑；2、由于权限包括用户认证和操作授权，需要改造sentry的一个模块代码编译后替换掉原有的包，用户认证sentry官方建议kerboers和ldap，我们本身是不需要那部分，按照ddw的用户逻辑；3、客户端即使提供业务方正常的连接信

Sentry permissions can be configured through Grant and Revoke statements issued either interactively or programmatically through the HiveServer2 SQL command line interface, Beeline (documentation avai

1、修改hive元信息库为utf8编码，然后表和字段也是ALTER TABLE DBS DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;ALTER TABLE TBLS DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;ALTER TABLE COLUMNS_V2

由于启用了Hamza的权限机制，jdbc端已经可以正常控制权限，只需要按照jdbc的方式传送用户名和密码即可，但发现还有很多业务方是使用php的，他们只能通过thrift来访问hive。jdbc方式的时候我们是将用户名和密码传到hiveconf中，服务通过sessionhook中解析出来的，但是thrift的方式最后放入的是HiveSession，我们只能通过反射访问到HiveSessionH

HiveServer2提供了一个新的命令行工具Beeline，它是基于SQLLine CLI的JDBC客户端。关于SQLLine的的知识，可以参考这个网站：http://sqlline.sourceforge.net/#manualBeeline工作模式有两种，即本地嵌入模式和远程模式。嵌入模式情况下，它返回一个嵌入式的Hive（类似于Hive CLI）。而远程模式则是通过Thrift协议与某

1、首先将hive-0.12.0-cdh5.1.2.tar.gz解压到某台准备安装hive的机器上，比如我们放到/usr/local下面。 2、将以下几个jar包拷贝到$HIVE_HOME/lib目录下面：ant-1.9.1.jarant-launcher-1.9.1.jarantlr-2.7.7.jarantlr-runtime-3.4.jaravro-1.7.5-c

修改log4j.propertis 指定日志打印位置hive.log.dir=/export/logs/hive/hive.log.file=hive.loghive.cli.print.header truehive.cli.print.current.db truehive.metastore.warehouse.dir /user/hive/warehouse

1、Create/Drop/Alter DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name  [COMMENT database_comment]  [LOCATION hdfs_path]  [WITH DBPROPERTIES (property_name=property_value, ...)];

1、产品概述Hive作为大数据时代的数据仓库工具，使我们分析处理海量结构化数据成为可能。越来越多的公司和机构都将Hive作为应对大数据分析的强有力工具。但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用Hive UDF的扩展机制。当然，作为大数据平台开发过程中也同样遇到这些问题。整个公司不同业务方的数据汇聚到数据平台后，对数据的

Hive数据仓库中随着越来越多业务方的使用，会产生非常多的库表。如何对数据生命周期进行管理成了很重要的工作。经过验证发现，通过对Hive表执行以下语句会详细展现该表的很多统计信息，其中就有lastAccessTime。 (前提是该执行用户必须有对应表所在hdfs文件目录的读权限) > show table extended in order like wy_order;OK