程序员小李的博客

Hive 表进行关联查询如何解决长尾和数据倾斜问题 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导...

HiveSQL 的原理：我们都知道 HiveSQL 会被翻译成 MapReduce 任务执行，那么一条 SQL 是如何翻译成MapReduce 的？ 详细！ 需要多看几遍才能看懂 https://www.aboutyun.com/thread-20461-1-1.html Hive 和普通关系型数据库有什么区别？ 1.查询语言不同：hive是hql语言，mysql是sql语句； 2.数据存储位置不...

因为hive的数据存储在hdfs中，添加数据实际上完成了mr的任务，所以需要先启动hdfs集群和yarn集群！！ 使用BeeLine Cli的时候，如果要进行insert等操作，需要现在集群中修改用户权限–在hiveserver服务所在的虚拟机的hadoop/etc/hadoop/core-site.xml中添加 <property> <name>hadoo...

开始学习 Hive 啦 把Hive的内嵌、本地、远程三个模式配了一遍，基本上没有遇到大的问题 需要初始化元数据 这个点比较容易忘 本地、远程模式需要用mysql，顺便回顾了一下mysql的安装配置过程，发现centos7直接装yum mysql有问题，后通过https://www.jianshu.com/p/3d657516882d 完成配置安装~ 记得开启远程连接。 hive因为用的是sql，所...