日志分析

最新推荐文章于 2024-07-24 15:33:11 发布

原创

最新推荐文章于 2024-07-24 15:33:11 发布 · 340 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#日志分析 #外部表

本文介绍了在Greenplum数据库中进行日志分析的过程，包括启动gpfdist服务创建外部表，导入网站浏览日志数据，分析PV、UV分布，解析URL获取域名和参数，以及进行用户浏览次数区间分析，提供了数据仓库分析的实用技巧。

创建外部表

首先启动gpfdist服务：

nohup gpfdist -d /home/dyt/PJ4 -p 9058 -l /home/dyt/PJ4/gpfdist.log &

查看是否启动成功：

ps -ef | grep gpfdist

55312764709

创建外部表

1,123432423,2019-03-15 23:12:25,zsl
2,123657567,2019-03-15 23:12:26,sdf
3,123482825,2019-03-15 23:12:27,fgd

进入云数据库

 psql -U dyt -h udw.lurymd.m0.service.ucloud.cn -p 5432 -d db_dyt -W

创建外部表

注意，这里端口号后，默认会转到之前确认的文件夹下，也就是/home/dyt/PJ4

drop external table test001_ext_1;
create external table public.test001_ext_1(
    id integer,
    phoneno varchar(20),
    time date,
    name varchar(128)
)
location(
    'gpfdist://10.11.10.9:9058/test001_ext_1.txt'
)
Format 'TEXT' (delimiter as E',' null as '' escape 'OFF');