
Hadoop日志分析demo
oJueQiang123456
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop日志分析demo - 数据统计(五)
一、概述按城市统计活跃用户二、代码创建表:CREATE TABLE `active_user` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `city` varchar(24) DEFAULT NULL COMMENT '城市', `number` int(16) DEFAULT NULL COMMENT '活跃用户...原创 2019-06-25 22:25:16 · 284 阅读 · 0 评论 -
Hadoop日志分析demo - 概述(一)
1、概述:按城市统计活跃用户 前台通过调用nginx生成日志,记录到本地。 通过flume将本地日志上传到hfds。 通过Mapreduce对原始日志进行清洗如:ip解析成城市。 通过Mapreduce将hbase中的数据统计出来记录到mysql。 前台读取mysql中的数据进行展示。...原创 2019-06-22 17:33:44 · 236 阅读 · 0 评论 -
Hadoop日志分析demo - nginx生成日志,记录到本地(二)
1、安装nginx并配置log.gif为日志记录urlhttp { include mime.types; default_type application/octet-stream; # 自定义log格式^A为分隔符:访问地址^A时间^A服务器地址^A访问url log_format my_format '$remote_addr^A$mse...原创 2019-06-22 17:47:49 · 383 阅读 · 0 评论 -
Hadoop日志分析demo - Flume同步本地log到hdfs(三)
一、概述flume收集日志文件到hdfs jdk1.7.0_67 apache-flume-1.6.0-bin二、安装下载、解压 在conf目录下创建flume.conf,名字可自定义a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type...原创 2019-06-05 07:31:34 · 294 阅读 · 0 评论 -
Hadoop日志分析demo - 数据清洗(四)
一、概述Mapreduce对原始日志进行清洗:ip解析成城市,新日志存储到hbase中 安装hbase,本案HMaster:192.169.224.104,HRegionServer:192.169.224.105。 因为是在本地运行程序,所以添加host:192.169.224.104 node1192.169.224.105 node2完整工程:https://gitee.c...原创 2019-06-23 14:54:50 · 357 阅读 · 0 评论