mr_cuber的博客

目录 1.hive架构 什么是Hive Hive架构 Hive优点 Hive使用场景 Hive的执行流程 2.sql如何转为mapreduce程序的 1.hive架构 什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更换为Spark/T.

目录 1.动态分区 1.启用动态分区

1.等比例抽样 此场景在工作中遇到过，笔者原创。有用户表user，字段user_id, city。现运营同事要选10w人发调查问卷，要求人群的city分布，和全量用户的city分布一致。 with city_fenbu as ( select city, user_cnt/ sum(user_cnt) over() as zhanbi from ( select city,count(user_id) as user_cnt from user_inf