BlessingXRY的博客

1 Hive - mapjoin 问题： hive sql:select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802) 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且会在reduce的过程中遇到内存不够而报错 解决方案： 考虑使...

1 启动集群 start-all.sh 2 hive压缩包解压缩 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/ 3 移动到规划位置 mv /usr/local/apache-hive-1.2.1-bin/ /usr/local/hive-1.2.1 4 添加环境变量 [root@hadoop02 ~]# vi /etc/prof...

一、文件存储格式 File Formats and Compression: RCFile, Avro, ORC, Parquet; Compression, LZO 1.1 textfile 1、textfile是hive默认的数据文件存储格式 2、textfile是普通的文件文本存储 3、不压缩 4、可以配合压缩配置属性进行压缩 CREATE TABLE `u4`( `id` int,...

一、Sqoop 1 官网 http://sqoop.apache.org/ 2 概述 1、用于结构化数据存储（如传统关系型数据库）和Hadoop之间的数据传输 2、Sqoop的核心设计思想是利用MapReduce加快数据传输速度，即Sqoop的导入和导出功能是通过基于Map Task(只有Map)的MapReduce作业完成，因此Sqoop是一种批处理方式进行数据传输，难以实现实时的数据进行导入...

一、Tez 安装 1 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二进制包安装 2.1 解压并重命名 [root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/ [root@hadoop01 ~]# mv /usr/l...

一、Tez 安装 1 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二进制包安装 2.1 解压并重命名 [root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/ [root@hadoop01 ~]# mv /usr/l...