【hive】limit查询优化

limit不优化会全部查询后，再返回部分

优化后：对数据源抽样返回

开启优化参数：

hive.limit.optimize.enable=true //开启对数据源进行采样的功能

hive.limit.row.max.size=100000 //设置最小采样容量。默认10万

hive.limit.optimize.file=10 //可抽样的最大文件数。默认10个

缺点：可能输入中有用的数据永远都不会被抽样到。

 

 

（1）配置文件

Hive 的配置文件包括：

　　A.　用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml

　　B.　默认配置文件：$HIVE_CONF_DIR/hive-default.xml

用户自定义配置会覆盖默认配置。

另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hive 的配 置会覆盖 Hadoop 的配置。

配置文件的设定对本机启动的所有 Hive 进程都有效。

<property>
    <name>hive.limit.optimize.enable</name>
    <value>true</value>
</property>

<property>
    <name>hive.limit.row.max.size</name>
    <value>100000</value>
</property>
 
<property>
    <name>hive.limit.optimize.limit.file</name>
    <value>10</value>
</property>

（2）命令行参数

启动 Hive（客户端或 Server 方式）时，可以在命令行添加-hiveconf param=value 来设定参数，这一设定对本次启动的 session（对于 server 方式启动，则是所有请求的 session）有效。

bin/hive -hiveconf hive.root.logger=INFO,console

 

（3）参数声明 

可以在 HQL 中使用 SET 关键字设定参数