保持开放的心态，坚定技术信仰，持之以恒，与日俱进！

系统架构 物理存储

1、 什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、 Hadoop 框架的特性 A、 不怕数据大，怕数据倾斜 B、 Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数， 通常不会有数据倾斜问题 3、 主要表现 任务进度长时间维持在 99%或者 100%的附近， 查看任务监控页面，发现只有少量 reduce 子任务未完成， 因为其处理的数据量和其他的 reduce 差异过大。 单一 reduc

方式一：(此方法需要建库建表) 第一步：建库建表 在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表； show create table tb_name; create database db_name; create table tb_name ..... 第二步：转移数据文件到新集群； 在旧集群中下载数据到本地 hadoop fs-get /user/hive/warehouse/dc_ods.db/tb_name /home/zhang.xl/t..

一、Hive到底是什么 image.png 如何理解Hive （1）从概念上来看 -> Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序； -> Hive可以将结构化的数据文件（eg：按照各字段分类的数据）映射成一张虚表，并提供类SQL查询功能； -> 有了Hive后我们就不用再写麻烦的MapReduce程序了。 （2）从本质上来看 Hive就是把sql语句转化为MapReduce程序。 Hive没有服.