【MapReduce电商日志文件分析（三）】

MapReduce电商日志文件分析（一）
MapReduce电商日志文件分析（二）

问题三

在这里我们需要进行ETL操作。

Mapper

在 map 阶段，我们对每一条数据进行读取，调用编写号的 LogParser 类中的 parse 方法，对数据进行解析（即生成对应的 map 键值对，如 “ip” 对应的 ip 地址）然后调用编写好的GetPageId 类的 getPageId 方法，获取数据中的 PageId，接着使用 StringBuilder 对各个值进行拼接，拼接完成的字符串作为键，对其值设置为1 。

LogParser

import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.HashMap;
import java.util.Map;

public class LogParser {
   

    private Logger logger = LoggerFactory.getLogger(LogParser.class);


    public Map<String, String> parse(String log)  {
   

        Map<String, String> logInfo = new HashMap<String,String>();
        IPParser ipParse = IPParser.getInstance();
        if(StringUtils.isNotBlank(log)) {
   
            String[] splits = log.split("\001");

            String ip = splits[13];
            String url = splits[1];
            String sessionId = splits[10];
            String time = splits[17];

            logInfo.put("ip",ip);
            logInfo.put("url",url);
            logInfo.put("sessionId",sessionId);
            logInfo.put("time",time);


            IPParser.RegionInfo regionInfo = ipParse.analyseIp(ip);

            logInfo.put("country",regionInfo.getCountry());
            logInfo.put("province",regionInfo.getProvince());
            logInfo.put("city",regionInfo.getCity());
            
        } else{
   
            logger