andyguan01_2的博客

一、环境操作系统：CentOS6.9软件版本：Hive2.3.4二、安装MySQL可参考以下方法：在CentOS6.9安装MySQL5.7：https://blog.youkuaiyun.com/andyguan01_2/article/details/88027338修改mysql参数：# 进入mysqlmysql -uroot -p # 然后输入mysql的密码# 切换成mysql库u...

一、Hive服务Hive的shell环境只是hive命令提供的其中一项服务。我们可以在运行时使用–service选项指明要使用哪种服务。键入hive --service help可以获得可用服务列表。下面介绍一些最有用的服务：cli：Hive的命令行接口（shell环境）。这是默认的服务。hiveserver2:让Hive以提供Thrift服务的服务器形式运行，允许用不同语言编写的客户端...

问题描述：通过Azkaban调Sqoop，将Oracle数据导入Hive，报Failed with exception Operation category READ is not supported in state standby错误。Azkaban日志如下：22-03-2019 15:01:14 CST sqoop INFO - Starting job sqoop at 1553238...

列举Hive中出现数据倾斜的几种情况：一、没开Map端聚合产生的计算不均衡例如有一张客户表customer，里面存有客户ID（cust_id）和性别（gender），男女各1亿条记录，cust_id没有重复。现在要按性别分组统计记录数：select gender, count(1) from customer group by gender;没开Map端聚合的数据处理流程如下：...

为何分区分桶我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名=“分区键=键值”。其中需要注意的是分区键的...