Hadoop日志分析系统启动脚本

Hadoop日志分析系统

最新推荐文章于 2023-12-06 22:34:18 发布

原创最新推荐文章于 2023-12-06 22:34:18 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

大数据平台开发笔记（hadoop|storm|spark）同时被 2 个专栏收录

50 篇文章

订阅专栏

Linux学习笔记

8 篇文章

订阅专栏

本文介绍了一个基于Hadoop的日志分析系统启动脚本。该脚本通过MapReduce处理Flume收集的日志数据，并将处理后的数据加载到Hive进行统计分析。最后使用Sqoop将Hive中的统计数据导出到MySQL数据库。

Hadoop日志分析系统启动脚本

#!/bin/bash

#Flume日志数据的根目录
 root_path=/flume
#Mapreduce处理后的数据目录
 process_path=/process
#hive分区时间
 partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
 file_path=`date -d "1 hour ago" +"%Y-%m-%d/%H"`
#执行Mapreduce程序
 # hadoop jar /root/develop/runjar/accesslog.jar hdfs://mycluster $root_path/$file_path $process_path/$file_path
 hadoop jar /root/develop/runjar/accesslog.jar hdfs://mycluster /flume/2014-10-15/16 /process/2014-10-15/16
#把数据装载到Hive中
 #hive -e load data inpath $process_path/$file_path/* into table access_log partition(dt=$partition)
 hive -e "load data inpath '/process/2014-10-15/16/*' overwrite into table access_log partition(dt='2014-10-15')"
#执行Hive脚本，统计数据
 hive -e "insert into table access_page_times select cs_uri_stem,count(*) from access_log where dt='2014-10-15' group by cs_uri_stem"
#通过sqoop把数据从hive导出到mysql
 sqoop export --connect jdbc:mysql://ip:3306/fkdb --username root --password 123456 --table access_page_times --export-dir /user/hive/warehouse/access_page_times --input-fields-terminated-by '\001'