hadoop学习--基于Hive的Hadoop日志分析

文宇肃然

于 2014-05-22 09:51:45 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop分布式计算解决方案集锦

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/26560415

本文介绍了如何利用Hive对本地Hadoop日志进行分析，将日志信息存储到Hive数据仓库，然后筛选有用信息并转移到MySQL数据库。主要涉及Hive的表结构定义、数据加载、查询以及与MySQL的数据交互。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。

环境：hive-0.12.0 + Hadoop1.2.1

1、日志格式

2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_4856124673669777083 to 127.0.0.1:50010 
2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_3952951948255939678 to 127.0.0.1:50010 
2014-04-17 22:53:30,629 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_-7659295115271387204 to 127.0.0.1:5001

了解本专栏