大壮的博客

行列转行、排序目前工作中因为编码风格的习惯，产生了部分需要适应的hive关键字，这里查阅了人民邮电出版社的《Hive编程指南》一书，同时做出一些介绍和总结，以备温故而知新。一，行列转换collect_wscollect_setcollect_listcollect_set去除重复元素；collect_list不去除重复元素+------+------------------------------...

数据库">Hive中强制删除数据库若使用drop [database] if exists [database Name]语句删除数据库，若数据库中有表，则无法删除；如果想强制删除，则可以使用语句：drop database dbname cascade;请注意，有点狠。...

首先我们打开debug模式的hivehive --hiveconf hive.root.logger=DEBUG,console来查看下原因。基本上都是权限问题。那就用所给用户操作好了。关键要记住：hive --hiveconf hive.root.logger=DEBUG,console...

hive 出错Error: Java heap space默认io.sort.mb为100.但是在hql执行的时候hive log提示Java heap space.找了很久的原因，尝试如下：1.在mapred-site.xml中增加mapreduce.task.io.sort.mb参数<property> <name>mapreduc...

首先准备hive数据，这个例子ok之后，我们要开始数据仓库建设了，我们分4层即可，ods数据准备层、dw数据明细层、dm数据集市、st数据应用层构建数据仓库create database test;show databases;准备数据(employees.txt)1201 Gopal 45000 Technical manager1202 M...

hive 数据安全​角色管理--创建和删除角色 create role role_name; drop role role_name; --展示所有roles show roles --赋予角色权限 grant select on database db_name to role role_name;   

有这么一需求，在Hive中求出一个数据表中在某天内首次登陆的人；可以借助collect_set来处理sql:[html] view plain copy print?select count(a.id)   from (select id,collect_set(time) as t from t_action_login where t

今天整点大数据应用的开发。做一个定时校验的Job​Kettle自行百度，做ETL的。下面就开始吧。首先kettle，开发系统时间的转换，这步很关键的，兄弟：​具体代码也贴出来，这个是设置环境变量，​接下来，看分割时间的js代码段

Hive数仓导入导出，分隔符​首先看下导出吧，我们准备sql。那么首先我们看到，两张表给运营提供数据。另一方面，让我们看看hive的强大。先看一下两张表数据量： select count(dt) from d.d_safedata_base_day             数据量：10836008 select count(dt) from d.d

数据仓库Hive表，并且导入数据，整理文档接下来跑服务器环境，环境和本地有所区别了。​首先我们拿到几个目录，可以开干了。源数据目录，hdfs放置目录，集群地址即可。tar zxvf SafeData-2017-06-26.har.tar.gz -C /data/data/

Hive开发UDF从无到有开发hive的udf，本篇不针对简单的，针对复杂参数目录：add jar /opt/workspace/udf/GetAppUDF.jar;小坑，路径一定要写对，之前出现文件找不到，我以为要放到hdfs上面呢。