超级会员免费看
本文介绍了如何使用Hive从Tomcat日志文件中筛选数据，并将其加载到Hive表中。首先，创建了一个名为apachelog的Hive表，通过RegexSerDe设置正则表达式来解析日志文件。然后，使用LOAD DATA命令将日志数据加载到表中。此外，还展示了日志文件的格式和一个每小时执行的crontab任务，用于定期收集日志。
Tomcat 日志文件目录、脚本正则表达式抓取
1、创建hive表：apachelog
语句如下：
CREATE TABLE apachelog (
host STRING,
identity STRING,
t_user STRING,
time STRING,
type STRING,
http STRING,
http_type STRING,
status STRING,
agent STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) \\[(.*?) .*?\\] \"([^ ]*) (.*?)\" ([^ ]*) ([^
订阅专栏 解锁全文
扫一扫
1811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
