Ganymede的Hadoop世界

【解决】hive跑批后presto未同步源数据的问题

Hive处理JSON字符串

基于CDH5.x的Hive权限详细配置

Hive运维记之-补分区表数据

Hive计算引擎切换

HiveSQL的CASE-WHEN的使用case when 条件 then 条件为真时的值 else 条件为假时的值 end

配置hive的环境变量

【解决】hive动态增加partitions不能超过100的问题，全量动态生成partitions超过100会出现如下异常：

[解决]Hive表分区被锁的情况

解决NameNode配置HA后Hive路径不正确的问题

[解决]Hive权限中超级管理员设置的问题

Hive实现从表中随机抽样得到一个不重复的数据样本

hive使用技巧（四）——巧用MapJoin解决数据倾斜问题

[解决]Hive执行语句异常：Unable to create temp file for insert values Expression of type TOK_FUNCTION not suppor

hive修改表/视图的注释

Presto 来自Facebook的开源分布式查询引擎

hbase提供实时查询完好的弥补了hive实时查询的不足，现基于CDH5.4的hive与hbase的整合，已经非常成熟。具体步骤如下：

修改Hive表结构

hive使用技巧（五）—— 一行转多行,多行转一行

Author：kwuhive使用技巧（一）自动化动态分配表分区及修改hive表字段名称

hive使用技巧（二）——共享中间结果集，很多hive的Job用到的中间结果集 ，存在“亲缘”关系，多作业用共用输入或输出。

网站统计中常用的指标，pv ,uv , 独立IP,登录用户等，都涉及去重操作。全年的统计，PV超过100亿以上。即使是简单的去重统计也非常困

大数据数据仓库是基于HIVE构架的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：

impala-shell基本命令

[Author]: kwu 基于Hive及Sqoop的每日PV、UV、IP定时分析

[Author]: kwu UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求，开发HIVE的UDTF自定义函数具体步骤如下：

[Author]: kwu 使用子查询优化hive的SQL

[Author]: kwu 每日定时导入hive数据仓库的自动化脚本

[Author]: kwu 【解决】hive与hbase表结合级联查询的问题，hive两个表以上，关联查询时出现长时无法返回的情况。同时也不出现，mr的进度百分比。

[Author]: kwu基于Cloudera Manager5配置HIVE压缩，配置HIVE的压缩，实际就是配置MapReduce的压缩，包括运行结果及中间结果的压缩。

Author： kwu快速查询hive数据仓库中的条数，在查询hive表的条数，通常使用count(*)，但是数据量大的时候，mr跑count(*)往往需要几分钟的时间。1、传统方式获得总条数如下：[sql] view plaincopyselect count(*) from ods.tracklog; 运行时间为91.208s2、与关系库一样hive表也可以通过查询元数据来得到总条数：[sql] view plaincopyselect d.NAME,t.TBL_NA

创建与删除hive的表分区并指定目录

[Author]: kwu 关于HIVE数据仓库的基本操作

[Author]: kwu hive命令行不打印日志，hive的命令行运行会输出mapreduce的日志，这些日志对大部分用户来说是不需要的。

[Author]: kwu 创建hive整合hbase的表总结，如下两种方式：

[Author]: kwu从关系库导入数据到hive-hbase表中，关系库到hbase中，可以直接由sqoop来导入，但是我们要对rowkey做特殊处理并加入更新时间，则操作步骤如下：

基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项

基于CDH5集群配置snappy压缩

Hive创建二级分区表.

使用hiveF对sql语句的封装