liyonghui123的专栏

 Hive的表创建为外部分区表，例如： USE mydb;CREATE EXTERNAL TABLE mytable(   c1 String,  c2 INT,  c3 INT,  create_time String)PARTITIONED BY (dt STRING)ROW FORMAT DELIMITED FIELDS TERMINATE...

  Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语...

 String myBC_DB_URL = "mybc:hive2://my-test-001:10000/default;" + "principal=" + loginUserPrinc + ";kerberosAuthType=kerberos;hive.server2.proxy.user=" + proxtUser; Co...

 insert 语法格式为：1. 基本的插入语法：insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;insert into table tablename [partition(partcol1=val1,partclo2=val2)] sele...

 Hive权限控制Hive权限机制：Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。 先决条件：为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：<property> <name>hive.security.authorizat...

        获取hive日志比较麻烦，通常的做法是执行shell命令获取日志，但是这样有一些问题，比如：输出的结果需要程序解析等，可以改进hive，采用jdbc的方式执行hive sql，并且把输出到控制台的日志保存到redis，其中kill job的命令日志用不同的key缓存到redis，如此可很方便获取查询结果、日志、kill命令。   具体实现方式如下：   修改hive-exec...

 1， hive  命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli        用于linux平台命令行查询，查询语句基本跟mysql查询语句类似   2， hive  web界面的启动方式，hive –service hwi         用于通过浏览器来访问hive，感觉没多大用途  ...

  hive> create table pokes (foo int, bar striing);OKTime taken: 0.251 secondshive>create table invites (foo INT, bar STRING) partitioned by (ds string);OKTime taken: 0.106 second...

 Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下：1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar ...

 hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：create table partition_test(member_id string,name string)partitioned by (sta...

 Mapr框架安装完后，安装与配置hbase、hive。其中mapr框架的安装路径为/opt/maprHbase的安装路径为/opt/mapr/hbase/hbase-0.90.4Hive的安装路径为/opt/mapr/hive/hive-0.7.1整合hive与hbase的过程如下：1． 将文件 /opt/mapr/hbase/hbase-0.90.4/hbase-0.90.4.jar 与...

 coalesce()解释：返回参数中的第一个非空表达式（从左向右）；SELECT COALESCE(a,b,c)如果a！=null返回a，如果a==null,则选择b；如果b==null,则选择c；如果a!=null,则选择a；如果a b c 都为null ，则返回为null...

  具体从网上看 http://doc.mapr.com/display/MapR/Using+HiveServer2#UsingHiveServer2-ConfiguringCustomAuthentication LDAP Authentication using OpenLDAPSetting up Authentication with Plugga...

 Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。   一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可  <?xml version="1.0"?>  ...

        我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过Hive...

 本地文件加载到hive表1.在hxl数据库下创建表hive> create table tb_emp_info    > (id int,    > name string,    > age int,    > tel string)    > ROW FORMAT DELIMITED    > FIELDS TE...

  1.执行select查询$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'$HIVE_HOME/bin/hive -e "use mydb;select a.col from tab1 a where a.dt='2015-01-07';" 2.加入配置变量的查询$HIVE_HOME/bin/hive -e 'se...

  必须在表定义时创建partition a、单分区建表语句：create table day_table (id int, content string) partitioned by (dt string);单分区表，按天分区，在表结构中存在id，content，dt三列。 以dt为文件夹区分 b、 双分区建表语句：create table day_hour...

 hive中空值判断基本分两种（1）NULL 与 \Nhive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如：1.设置 alter table name SET SERDEPROPERTIES('serializat...