使用flume日志采集直接将采集数据导入hive

最新推荐文章于 2024-10-29 17:22:21 发布

sungang1120

最新推荐文章于 2024-10-29 17:22:21 发布

阅读量3.3k

点赞数 1

分类专栏：细细品味-hive 细细品味-hadoop 细细品味-hdfs 细细品味-flume 文章标签： hadoop hdfs flume hive

本文链接：https://blog.youkuaiyun.com/sungang1120/article/details/84755146

版权

本文介绍如何使用Flume采集Apache Access Log，并直接将其导入到Hive表中进行日志分析。首先创建Hive表，接着配置Flume的spoolDir source监控日志文件，数据写入HDFS后，通过Hive的外部表或普通表进行查询分析。建议根据日志分区间隔创建自动化脚本预先分区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天给大家分享下使用flume采集日志，直接将日志导入对应的hive表中，然后使用hive进行日志分析

下面就以apache access log为例

具体使用hive的外部表还是普通的表，个人决定哈

我这里就以普通表来讲解，首先我们创建一个hive表(注：此表我是从hive官网上直接拷贝修改了下表名,哈哈)

1，首先进入hive 命令行模式

我创建了一个自己的数据库

create database hive_1208;

然后使用该数据库:

use hive_1208;

直接执行建表语句：

CREATE TABLE td_log_analyze(
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
partitioned by (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex"

最低0.47元/天解锁文章