ITgagaga的博客

这个可能是因为hive配置的hdfs连接地址指定的是具体的namenode地址，但是hadoop集群配置的是HA,所以会发生主备切换，那么我们hive元数据配置就需要使用NameNode的逻辑名称而不是具体的主机名。Hive的元数据存储在MySQL数据库中，可以直接使用SQL命令来更新LOCATION字段。

一：HIve中查询数据表中的信息默认是不显示表头的可以通过修改hive安装文件中的配置文件[hadoop@hadoop03 conf]$ vi hive-site.xml<property> <name>hive.cli.print.header</name> <value>true</value&gt...

数据倾斜一：什么是数据倾斜？​ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 ，简单来说就是大量相同的key被partition到同一个分区里面导致某些或者某个reducetask压力过大,而一些reducetask闲住。这样也违背了并行计算的初衷。二：数据倾斜的主要表现？​ 任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce 子任...

Hive–HQL的转换过程文章目录**Hive--HQL的转换过程**一：Hive的执行过程概述：操作符列表Hive 编译器的工作职责：优化器的类型：二：具体转化过程1）join2）group by3）distinck一：Hive的执行过程概述：Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等操作符 Ope...

Hive的shell以及Hive参数的配置Hive的shell一：进入Hive的客户端之前执行语句相关的 hive -e "sql" ; hive -e "show dtabase;" 执行单个sql语句执行顺序是：启动客户端–》执行语句–》退出客户端; hive -f sql脚本; 创建一个文件shell.txt，写入sql脚本: create datab...

Hive概要一：产生背景 虽然hadoop有效的解决了大规模数据的存储和统计的问题，但是MapReduce编程十分繁琐，在大多情况下，每个MapReduce程序需要包含Mapper、Reduceer和一个Driver，之后需要打成jar包扔到集群上运 行。如果mr写完之后，且该项目已经上线，一旦业务逻辑发生了改变，可能就会带来大规模的改动代码，然后重新打包，发布，非常麻烦(这种方式...