oaimm的专栏

原理 hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。 eg： SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)将被翻译成1个map-reduce任

Currently, some relevant settings are: NameNode Heap Size: 4096mb DataNode maximum Java heap size: 4096mb Hadoop maximum Java heap size: 4096mb Java Options for MapReduce tasks: 768mb set map

Total MapReduce jobs = 1 14/08/24 20:29:11 WARN conf.Configuration: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize 14/08/24 20:29:11 WARN con

OOM 从进程入手： HADOOP 5个守护进程，HADOOP_HAPSIZE  参数设置每个守护进程的内存大小，hadoop_namemode_opt 存储每个块的索引信息，既然是name的还有个secondarynode_opt。 再说说MAP和reduce MR任务分配是根据Containers分配，数量由CPU core+内存来确定，mapred.taskacker

Hive下的变量使用 博客分类：  Hive Hive变量 Hive的变量前面有一个命名空间，包括三个hiveconf，system，env，还有一个hivevar 1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。 2. system的命名空间是系统的变量，包括JVM的运行环境。 3. env的命名空间，是指环境变量，

Hive 内建操作符与函数开发 目录： 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理   配套视频课程  

原文地址：http://blog.yidooo.net/archives/apache-hive-installation.html 安装前 在安装Hive之前，请保证已经安装了Hadoop。 Apache Hive安装及配置 安装Mysql 本文选用mysql作为Hive的metastore。 帮助 1

You need to use the special hiveconf for variable substitution. e.g. hive> set CURRENT_DATE='2012-09-16'; hive> select * from foo where day >= '${hiveconf:CURRENT_DATE}' similarly, you could pass

引言  在前篇文章中(SQL查询入门（上篇),我对数据库查询的基本概念以及单表查询做了详细的解释，本篇文章中，主要说明SQL中的各种连接以及使用范围，以及更进一步的解释关系代数法和关系演算法对在同一条查询的不同思路。  多表连接简介  在关系数据库中，一个查询往往会涉及多个表，因为很少有数据库只有一个表，而如果大多查询只涉及到一个表的，那么那个表也往往低于第三范式，存在大量冗余和异常。 

建表： create table b (id int,name string) row format DELIMITED  FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'  STORED AS SEQUENCEFILE; load data local inpath '/tmp/test1' into table a;

use dw; ALTER TABLE DWS_SELLER_DELIVERY_STAT_D DROP PARTITION(DT<'TIMEPROCESS(${DATE},1)');

URL: http://I149-43:8005/taskdetails.jsp?jobid=job_1397098636321_27548&tipid=task_1397098636321_27548_r_000016 ----- Diagnostic Messages for this Task: Container [pid=7830,containerID=container_13