oJueQiang123456的博客

一、概述按城市统计活跃用户二、代码创建表：CREATE TABLE `active_user` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `city` varchar(24) DEFAULT NULL COMMENT '城市', `number` int(16) DEFAULT NULL COMMENT '活跃用户...

1、概述：按城市统计活跃用户 前台通过调用nginx生成日志，记录到本地。 通过flume将本地日志上传到hfds。 通过Mapreduce对原始日志进行清洗如：ip解析成城市。 通过Mapreduce将hbase中的数据统计出来记录到mysql。 前台读取mysql中的数据进行展示。...

1、安装nginx并配置log.gif为日志记录urlhttp { include mime.types; default_type application/octet-stream; # 自定义log格式^A为分隔符：访问地址^A时间^A服务器地址^A访问url log_format my_format '$remote_addr^A$mse...

一、概述flume收集日志文件到hdfs jdk1.7.0_67 apache-flume-1.6.0-bin二、安装下载、解压 在conf目录下创建flume.conf，名字可自定义a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type...

一、概述Mapreduce对原始日志进行清洗:ip解析成城市，新日志存储到hbase中 安装hbase，本案HMaster：192.169.224.104，HRegionServer：192.169.224.105。 因为是在本地运行程序，所以添加host：192.169.224.104 node1192.169.224.105 node2完整工程：https://gitee.c...