
Hive
开发者的集训营
隔壁程序员老王
层楼终将误少年,自由早晚乱余生。
展开
-
Hive如何设置Map个数和Reduce个数
根据输入文件估算Reduce的个数可能未必很准确,因为Reduce的输入是Map的输出,而Map的输出可能会比输入要小,所以最准确的数根据Map的输出估算Reduce的个数。比如有一个127M的文件,正常会用一个map去完成,但这个文件只有一个或者两个小字段,却有几千万的记录,如果map处理的逻辑比较复杂,用一个map任务去做,肯定也比较耗时。从Hive的角度看,小文件会开很多map,一个map开一个JVM去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重影响性能。...原创 2022-07-18 15:50:29 · 3951 阅读 · 2 评论 -
hive经常用到的日期函数(当天、当周、当月)
select day ,(day,1) -- 时间 ,date_add(day,1 - dayofweek(day)) as week_first_day -- 本周第一天_周日 ,date_add(day,7 - dayofweek(day)) as week.转载 2021-08-03 20:38:27 · 5861 阅读 · 0 评论 -
hive新增一列到指定位置
新增一列,并且将其放到某一列的后面--- 新增一列,列名为c_test1alter table dm.t_table add columns (列名为c_test1 string comment '测试列'); --- 把c_test1放在lable_id后面alter table dm.t_table change c_test1 c_test1 string after lable_id; ...原创 2021-07-02 15:16:31 · 927 阅读 · 0 评论