关于Hive analyze命令 1. 命令用法：
表与分区的状态信息统计 ANALYZE TABLE tablename
[PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan]; 列信息统计 ANALYZE TABLE tablename
[PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS FOR COLUMNS ( columns name1 , columns name2…) [noscan]; 当表存在分区时，需要在命令中指定，否则会报错； 不支持使用列与表的别名
2. 某个有分区表的analyze命令执行结果：
Partition default.test{dt=a} stats: [num_files: 1, num_rows: 0, total_size: 41, raw_data_size: 0] Table default.test stats: [num_partitions: 1, num_files: 1, num_rows: 0, total_size: 41, raw_data_size: 0]
3. 源码分析执行过程
命令的执行步骤： 当完成命令转化完ast树时 进入ColumnStatsSemanticAnalyzer类。 1) 命令类型的检查（ 比如 no scan , partial scan 等） 2) 查询重写，例如执行以下查询： analyze table pokes compute statistics for columns foo,bar; 以上查询会根据ast树，获取 表名， 列名，列的数量和类型。分区名字，数量等信息。生成一个新的查询： select compute_stats(foo , 16 ) , compute_stats(bar , 16 ) from pokes 3) 生成新的ast树 4) 回到Driver 完成语法分析，生成查询计划。 在做语法分析时使用了新的ast树和原有的ctx 5) 生成一个列统计的任务替代fetch task，并写统计信息到metastore中。列统计任务的生成是通过MapReduceCompiler 类中的genColumsStatsTask方法来完成的，每个task中都有对应的work 。核心代码如下： 对于2中的查询，所生成的rootTasks 如下： 上图中的MapRedTask会执行一次聚合操作的RS.
6) 生成plan 。 对于2中的查询，将会生成如下的plan: {"queryId":"zhangyun_20140403102424_07e3332f-12b9-4c54-b30f-f5fc912bb032","queryType":null,"queryAttributes":{"queryString":"analyze table pokes compute statistics for columns foo,bar"},"queryCounters":"null","stageGraph":{"nodeType":"STAGE","roots":"null","adjacencyList":"]"},"stageList":[{"stageId":"Stage-0","stageType":"MAPRED","stageAttributes":"null","stageCounters":"}","taskList":[{"taskId":"Stage-0_MAP","taskType":"MAP","taskAttributes":"null","taskCounters":"null","operatorGraph":{"nodeType":"OPERATOR","roots":"null","adjacencyList":[{"node":"TS_0","children":["SEL_1"],"adjacencyType":"CONJUNCTIVE"},{"node":"SEL_1","children":["GBY_2"],"adjacencyType":"CONJUNCTIVE"},{"node":"GBY_2","children":["RS_3"],"adjacencyType":"CONJUNCTIVE"}]},"operatorList":[{"operatorId":"TS_0","operatorType":"TABLESCAN","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"SEL_1","operatorType":"SELECT","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"GBY_2","operatorType":"GROUPBY","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"RS_3","operatorType":"REDUCESINK","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"}],"done":"false","started":"false"},{"taskId":"Stage-0_REDUCE","taskType":"REDUCE", "taskAttributes":"null","taskCounters":"null","operatorGraph":{"nodeType":"OPERATOR","roots":"null","adjacencyList":[{"node":"GBY_4","children":["SEL_5"],"adjacencyType":"CONJUNCTIVE"},{"node":"SEL_5","children":["FS_6"],"adjacencyType":"CONJUNCTIVE"}]},"operatorList":[{"operatorId":"GBY_4","operatorType":"GROUPBY","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"SEL_5","operatorType":"SELECT","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"},{"operatorId":"FS_6","operatorType":"FILESINK","operatorAttributes":"null","operatorCounters":"null","done":"false","started":"false"}],"done":"false","started":"false"}],"done":"false","started":"false"},{"stageId":"Stage-1","stageType":"COLUMNSTATS", "stageAttributes":"null","stageCounters":"}","taskList":[{"taskId":"Stage-1_OTHER","taskType":"OTHER","taskAttributes":"null","taskCounters":"null","operatorGraph":"null","operatorList":"]","done":"false","started":"false"}],"done":"false","started":"false"}],"done":"false","started":"false"} 7) 列统计信息的输出schema Schema( fieldSchemas:[FieldSchema(name:_c0,type:struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint>,comment:null), FieldSchema(name:_c1,type:struct<columntype:string,maxlength:bigint,avglength:double,countnulls:bigint,numdistinctvalues:bigint>, comment:null)], properties:null)
以下是一些总结的资料：
1:列统计
针对表中的列数，特定列数据的直方图，有多种方式可以实现。作为查询优化的一种方法，统计输入给优化器的代价函数，然后优化器比较不同的计划，并从中获取较优的计划。 统计有时能够满足用户的查询，从而让用户，快速获取结果（需执行存储的统计信息，而不需要触发长时间的执行计划） 注： 以上来自wiki 但目前还没有实现统计输入给优化器的这种优化。
2：范围
Hive 现在支持的表和分区级别的统计， 不支持列中数据的统计。由于这些表和分区的统计不足以完成1中所述通过cost model 计算获取最优的计算。 统计首先要支持表和分区，这些统计会存在MetaStore中 比如分区： • Number of Rows • Number of files • Size in Bytes. 针对表，还包括表中的分区的格式Number of Partitions 针对分区级别的统计，可以实现列级别前N个值 Top K Statistics
3:实现
针对新创建的表，如果一个JOB创建一个表通过MapReduce Job,每个Mapper在复制列时，对应收集统计信息在Job结束时，也被汇总存在在MetaStore中 针对已经存在的表，在表扫描操作时，也会搜集相应的统计信息，并且存储在结果中 当然，需要一个数据库存储临时的统计数据：MySQL或者HBase 有两个接口 IStatsPublisher IStatsAggregateor
4. 具体接口内容： public interface IStatsPublisher{
public boolean init(Configuration hconf);
public boolean publishStat(String rowID,String key,String value);
public boolean terminate();
}
public interface IStatsAggregator{
public boolean init(Configuration hconf);
public String aggregateStats(String rowID,String key);
public boolean terminate();
}场景： 1:新创建的表
针对通过INSERT OVERWRITE生成的表和分区，统计会自动计算生成，可以通过配置控制是否生效 set hive.stats.autogather=false; 将不会生成统计信息 用户可以自定义统计的实现，来指定临时统计信息的存储 hive.stats.dbclass=hbase 将通过hbase来存储 缺省为{{jdbc:derby}} 针对通过JDBC来实现临时存储统计(Derby或者mysql)，用户可以指定对应的连接字符变量 set hive.stats.dbclass=jdbc:derby;
set hive.stats.dbconnectionstring="jdbc:derby:;databaseName=TempStatsStore;create=true"; set hive.stats.jdbcdriver="org.apache.derby.jdbc.EmbeddedDriver"; 针对查询可能会无法准确的收集统计信息 可通过hive.stats.reliable可以设置如果不能够可靠的收集统计信息，则查询失败，缺省是false
2:已存在的表
对应已存在的表，需要通过 ANALYZE来搜集统计信息并写入MetaStore ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan]; 如果用户执行该命令，但是不指定任何分区时，会搜集所有表和分区，如果指定分区则只搜集该分区的统计信息 如果统计是跨分区的，则分区列仍然需要指定 如果noscan参数指定，该命令就不扫描文件，从而更快，但是此时的统计就只限于如下项： • Number of files • Physical size in bytes
实例： 假定有一个表具有4个分区 • Partition1: (ds='2013-03-08', hr=11) • Partition2: (ds='2013-03-08', hr=12) • Partition3: (ds='2013-03-09', hr=11) • Partition4: (ds='2013-03-09', hr=12)
执行命令如下 ANALYZE TABLE Table1 PARTITION(ds='2013-03-09', hr=11) COMPUTE STATISTICS; 将只搜集分区3 如果执行 ANALYZE TABLE Table1 PARTITION(ds='2013-03-09', hr) COMPUTE STATISTICS; 则同时搜集分区间3和4 如果执行 ANALYZE TABLE Table1 PARTITION(ds, hr) COMPUTE STATISTICS; 则搜集所有分区 针对分分区表，通过 ANALYZE TABLE Table1 COMPUTE STATISTICS; 查看分区的统计信息： DESCRIBE EXTENDED TABLE1; 输入类似： ... , parameters:{numPartitions=4, numFiles=16, numRows=2000, totalSize=16384, ...}, .... 实例： DESCRIBE EXTENDED TABLE1 PARTITION(ds='2013-03-09', hr=11);
4万+
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
