一些代码20140717

最新推荐文章于 2022-01-24 10:56:07 发布

原创最新推荐文章于 2022-01-24 10:56:07 发布 · 823 阅读

0 ·

CC 4.0 BY-SA版权

Linux 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一个使用Hive SQL进行数据处理的具体案例，重点展示了如何利用OVERWRITE关键字实现数据覆盖，以及如何通过lzo压缩格式提高数据处理效率。文章还涉及了Hive表的创建与管理、分区表的使用技巧及数据清理策略。

##################################################
#主程序逻辑
#select data
# select_hive_sql通过查询语句向表中插入数据，这里使用了OVERWRITE关键字，因此之前分区中的内容会被覆盖掉。
# 如果没有OVERWRITE或者使用INTO关键字替换掉它的话，Hive会以追加的方式写入数据而不会覆盖掉之前已经存在的内容
select_hive_sql="
${JAR_FUNCTION}
SET mapred.map.tasks=3000;
SET mapred.reduce.tasks=200;
INSERT OVERWRITE TABLE ${OUTPUT_MDS_SINAAD_ALGO_WLS_MBPORTAL_APACHE} PARTITION(dt='${arg_date}')
SELECT ustat, channel, logdatetime, loguid, req, type,
IF(label[0]<>'UNKNOW' AND label[0]<>'NOCMS','CMS',label[0]),
IF(label[0]='UNKNOW' OR label[0]='NOCMS','NULL',label[0]),
IF(label[1]='UNKNOW' OR label[1]='NOCMS','NULL',label[1])
FROM
(
SELECT ustat, channel, logdatetime, loguid, req, type,
label_cms_nocms(req,channel) as label
FROM ${INPUT_ODS_SINAAD_ALGO_WLS_MBPORTAL_APACHE}
WHERE dt='${arg_date}' and type='wap_valid' and (ustat<>'-' or loguid<>'-')
) temporary_table
"
# 关键词OVERWRITE: 如果是加载数据，那么目标文件夹中之前存在的数据将会被先删除掉。
# # LOAD DATA LOCAL INPATH “路径” OVERWRITE INTO TABLE tablename PARTITION(country=='US', state='CA')
# 如果目标表是分区表那么需要使用PARTITION子句，还必须为每个分区的键指定一个值。

hive_run_dw "${select_hive_sql}"
#build lzop index
add_lzo_index "${HIVE_DATA_DIR}/${HIVE_DATA_LEVEL}/${HIVE_DATA_PRODUCT}/${OUTPUT_MDS_SINAAD_ALGO_WLS_MBPORTAL_APACHE}/dt=${arg_date}"
# hadoop集群启用了压缩，就需要在Hive建表的时候指定压缩时所使用的编解码器，否则Hive无法正确读取数据
# lzo格式默认是不支持splitable的，需要为其添加索引文件，才能支持多个map并行对lzo文件进行处理. 这是添加索引的原因
# hadoop中可以对文件进行压缩，可以采用gzip、lzo、snappy等压缩算法。
# 对于lzo压缩，常用的有LzoCodec和lzopCodec，可以对sequenceFile和TextFile进行压缩，
# 但是有一点，对TextFile压缩后，mapred对压缩后的文件默认是不能够进行split操作，需要对该lzo压缩文件进行index操作，生成lzo.index文件，map操作才可以进行split。
##################################################
#清除中间结果
echo "[INFO] clean"
echo "[INFO] clean the log"
find ${LOG_DIR}/$(basename $0)* -mtime +${RESERVE_LOG} -delete || true
find ${LOG_DIR}/crontab_job_log.* -mtime +${RESERVE_LOG} -delete || true
# find命令：查找特定的文件并执行特定的操作
# 格式：find path -option [ -print ] [ -exec -ok command ] {} \;
# -mtime -n/+n：是按照文件的更改时间来查找文件，-n表示n天以内，+n表示n天以前
# -delete：将找到的文件执行删除操作
# || true：之所以再加上是确保语句执行成功，整条语句的退出状态码为0。因为前面设置了 set -e errexit 命令
#
# #清除一些hive partitions
echo "[INFO] drop hive partition"
drop_date=`date +"${TIME_FORMATE}" -d"-${RESERVE_DATA} ${arg_date}"
drop_table_partitions ${OUTPUT_MDS_SINAAD_ALGO_WLS_MBPORTAL_APACHE} "dt" "${drop_date}"
# 清除一些分区表：

#清除crontab_label的标志文件
echo "[INFO] clean the crontab job label"
find ${DATA_DIR}/crontab_label* -mtime +${RESERVE_DATA} -delete || true