murphyZ的博客

hive任务转换为mapreduce:转换过程描述：1、通过客户端或者UI界面执行HQL语句给Driver2、Driver会为查询操作创建一个Session Handler，并将查询操作传递给Compiler去创建Execute Plan3、Compiler根据任务去MetaStore查询hive元数据信息4、Compiler得到元数据信息，对task进行编译，将HQL转换为抽象语法树...

一、Hive产生背景Apache Hive 数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。由Facebook开源，最初用于解决海量结构化的日志数据统计问题MapReduce编程的不便性HDFS上的文件缺少Schema（字段名，字段类型等）。二、hive的来源...

为了高效的使用Hive，需要对Hive进行性能优化。Hive常用性能优化方法如下1、Hive的本地模式需要处理的数据量不大，可以使用Hive的本地模式，该模式比Hadoop的集群模式运行速度要快，启用Hive本地模式的命令如下。set hive.exec.mode.local.auto=true; //默认为falseset hive.exec.mode.local.auto.inpu...