
mapreduce
scaling_heights
scaling_heights
展开
-
mapreduce 日志分析
1. 需求 用户上报日志到多台日志收集服务器,日志落在不同的服务器上,flume扫描日志存储到hdfs,现在要根据日期按照域名、hour汇总数据压缩提供下载查看功能。形如:https://www.cnblogs.com/mstk/p/6980212.html flume入hdfs (尚未尝试过,看起来很牛逼) 2.调研:1> flink实时分析日志流存储hdfs,o...原创 2018-11-04 21:17:18 · 3050 阅读 · 0 评论 -
MapReduce单元测试(MRunit)
问题 借鉴 https://blog.youkuaiyun.com/sunshine920103/article/details/61615948 https://www.cnblogs.com/xdlaoliu/p/7235675.html package com.**.pcdnas.mr.job;import com.alibaba.fastjson.J...原创 2019-01-31 22:52:48 · 401 阅读 · 0 评论