大数据基础（九）Maven构建Hadoop日志清洗项目（一）

最新推荐文章于 2024-10-25 23:49:16 发布
最新推荐文章于 2024-10-25 23:49:16 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： 大数据开发基础 文章标签： hadoop maven 日志 清洗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dst1213/article/details/52200989
版权


Maven Hadoop日志清洗项目（一）


hadoop 2.7.2



参考：
Maven Hadoop：
http://www.cnblogs.com/Leo_wl/p/4862820.html
http://blog.youkuaiyun.com/kongxx/article/details/42339581
日志清洗：
http://www.cnblogs.com/edisonchou/p/4458219.html


1、新建Maven工程


Eclipse-》新建Maven工程
http://mvnrepository.com/search?q=hadoop-mapreduce-client


groupid:com 
artifactid:first




依赖包
hadoop-common
hadoop-hdfs
hadoop-mapreduce-client-core
hadoop-mapreduce-client-jobclient
hadoop-mapreduce-client-common
我加了个hadoop-yarn-common，这个可以不要




pom.xml【注意：版本改成你自己的】
<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>2.7.2</version>
        </dependency>
</dependencies>


点击保存，开始构建。
构建完成后可以在Maven Dependencies下看到依赖包。




2、新建LogCleanJob类
代码见附录【详细代码解释参考原文http://www.cnblogs.com/edisonchou/p/4458219.html】
注意：pom.xml要添加assembly插件，直接用jar导出一直报错，没找到原因。
还有原文的@Override在run方法编译不通过，注释掉了。


E:\fm-workspace\workspace_2\first>mvn assembly:assembly
cd first\target下
first-0.0.1-SNAPSHOT-jar-with-dependencies.jar
E:\fm-workspace\workspace_2\first\target>dir
2016/08/13  18:21    <DIR>          .
2016/08/13  18:21    <DIR>          ..
2016/08/13  18:19    <DIR>          archive-tmp
2016/08/13  17:34    <DIR>          classes
2016/08/13  18:21        42,996,951 first-0.0.1-SNAPSHOT-jar-with-dependencies.jar
2016/08/13  18:21             9,266 first-0.0.1-SNAPSHOT.jar
2016/08/13  18:19    <DIR>          maven-archiver
2016/08/13  17:31    <DIR>          maven-status
2016/08/13  18:19    <DIR>          surefire-reports
2016/08/13  17:34    <DIR>          test-classes
               2 个文件     43,006,217 字节
               8 个目录 113,821,888,512 可用字节


重命名first-0.0.1-SNAPSHOT-jar-with-dependencies.jar 为first.jar并拷贝到linux下
root@py-server:/projects/data# ll
总用量 42008
drwxr-xr-x 4 root root     4096  8月 13 18:52 ./
drwxr-xr-x 7 root root     4096  8月 11 16:29 ../
-rw-r--r-- 1 root root 42996951  8月 13 18:21 first.jar
drwxr-xr-x 2 root root     4096  8月 13 15:36 hadoop-logs/
drwxr-xr-x 2 root root     4096  8月  3 21:04 test/




5、上传数据到HDFS
数据文件在原文找吧：http://www.cnblogs.com/edisonchou/p/4458219.html，大概200MB左右。
也可以用你自己的日志文件，不过格式要一致。
root@py-server:/projects/data/hadoop-logs# ll
总用量 213056
drwxr-xr-x 2 root root      4096  8月 13 15:36 ./
drwxr-xr-x 4 root root      4096  8月 13 18:25 ../
-rw-r--r-- 1 root root  61084192  4月 26  2015 access_2013_05_30.log
-rw-r--r-- 1 root root 157069653  4月 26  2015 access_2013_05_31.log


HDFS默认路径是 /user/root/
root@py-server:/projects/data# hadoop fs -put hadoop-logs/ .
root@py-server:/projects/data# hadoop fs -ls 


Found 14 items
drwxr-xr-x   - root supergroup          0 2016-08-09 23:59 .sparkStaging
drwxr-xr-x   - root supergroup          0 2016-08-13 15:38 hadoop-logs
-rw-r--r--   2 root supergroup      85285 2016-08-06 07:59 imdb_labelled.txt
-rw-r--r--   2 root supergroup         72 2016-08-04 09:29 kmeans_data.txt
drwxr-xr-x   - root supergroup          0 2016-08-09 23:59 kmeans_result
drwxr-xr-x   - root supergroup          0 2016-08-05 16:16 kmeans_result.txt
-rw-r--r--   2 root supergroup      43914 2016-08-04 12:33 ks_aio.py
drwxr-xr-x   - root supergroup          0 2016-08-09 10:51 mymlresult
drwxr-xr-x   - root supergroup          0 2016-08-09 10:28 naive_bayes_result
-rw-r--r--   2 root supergroup      66288 2016-08-09 23:57 price_data.txt
-rw-r--r--   2 root supergroup       1619 2016-08-08 17:54 price_data2.txt
-rw-r--r--   2 root supergroup       1619 2016-08-09 09:13 price_train_data.txt
-rw-r--r--   2 root supergroup        120 2016-08-04 09:24 sample_kmeans_data.txt
-rw-r--r--   2 root supergroup     104736 2016-08-08 17:14 sample_libsvm_data.txt






6、Hadoop测试
root@py-server:/projects/data# hadoop jar first.jar /user/root/hadoop-logs/ /user/root/logcleanjob_output

结果：【速度超快，不到瞬间啊！36s】

在hadoop UI看（本人的是：py-server:8088）下看：

User:root
Name:LogCleanJob
Application Type:MAPREDUCE
Application Tags: 
YarnApplicationState:FINISHED
FinalStatus Reported by AM:SUCCEEDED
Started:星期六 八月 13 18:46:18 +0800 2016
Elapsed:36sec
Tracking URL:History
Diagnostics: 

Clean process success!
root@py-server:/projects/data# hadoop fs -ls /user/root/
Found 15 items
drwxr-xr-x   - root supergroup          0 2016-08-09 23:59 /user/root/.sparkStaging
drwxr-xr-x   - root supergroup          0 2016-08-13 18:45 /user/root/hadoop-logs
-rw-r--r--   2 root supergroup      85285 2016-08-06 07:59 /user/root/imdb_labelled.txt
-rw-r--r--   2 root supergroup         72 2016-08-04 09:29 /user/root/kmeans_data.txt
drwxr-xr-x   - root supergroup          0 2016-08-09 23:59 /user/root/kmeans_result
drwxr-xr-x   - root supergroup          0 2016-08-05 16:16 /user/root/kmeans_result.txt
-rw-r--r--   2 root supergroup      43914 2016-08-04 12:33 /user/root/ks_aio.py
drwxr-xr-x   - root supergroup          0 2016-08-13 18:46 /user/root/logcleanjob_output
drwxr-xr-x   - root supergroup          0 2016-08-09 10:51 /user/root/mymlresult
drwxr-xr-x   - root supergroup          0 2016-08-09 10:28 /user/root/naive_bayes_result
-rw-r--r--   2 root supergroup      66288 2016-08-09 23:57 /user/root/price_data.txt
-rw-r--r--   2 root supergroup       1619 2016-08-08 17:54 /user/root/price_data2.txt
-rw-r--r--   2 root supergroup       1619 2016-08-09 09:13 /user/root/price_train_data.txt
-rw-r--r--   2 root supergroup        120 2016-08-04 09:24 /user/root/sample_kmeans_data.txt
-rw-r--r--   2 root supergroup     104736 2016-08-08 17:14 /user/root/sample_libsvm_data.txt


root@py-server:/projects/data# hadoop fs -ls /user/root/logcleanjob_output
Found 2 items
-rw-r--r--   2 root supergroup          0 2016-08-13 18:46 /user/root/logcleanjob_output/_SUCCESS
-rw-r--r--   2 root supergroup   50810594 2016-08-13 18:46 /user/root/logcleanjob_output/part-r-00000


root@py-server:/projects/data# hadoop fs -cat /user/root/logcleanjob_output/part-r-00000




118.112.191.88 20130530204006 source/plugin/wsh_wx/img/wsh_zk.css
113.107.237.31 20130530204005 thread-10500-1-1.html
110.251.129.203 20130531081904 forum.php?mod=ajax&action=forumchecknew&fid=111&time=1369959258&inajax=yes
118.112.191.88 20130530204006 data/cache/style_1_common.css?y7a
220.231.55.69 20130530204005 home.php?mod=spacecp&ac=pm&op=checknewpm&rand=1369917603
110.75.174.58 20130531081903 thread-21066-1-1.html
118.112.191.88 20130530204006 data/cache/style_1_forum_viewthread.css?y7a
110.75.174.55 20130531081904 home.php?do=thread&from=space&mod=space&uid=71469&view=me
14.17.29.89 20130530204006 home.php?mod=misc&ac=sendmail&rand=1369917604
121.25.131.148 20130531081906 data/attachment/common/c2/common_12_usergroup_icon.jpg
59.174.191.135 20130530204003 forum.php?mod=forumdisplay&fid=111&page=1&filter=author&orderby=dateline
118.112.191.88 20130530204007 data/attachment/common/65/common_11_usergroup_icon.jpg
121.25.131.148 20130531081905 home.php?mod=misc&ac=sendmail&rand=1369959541
101.229.199.98 20130530204007 data/cache/style_1_widthauto.css?y7a
59.174.191.135 20130530204005 home.php?mod=space&uid=71081&do=profile&from=space












#######################################
问题解决：
1. mave 中断怎么办
http://www.cnblogs.com/tangyanbo/p/4329303.html
右键项目：maven->update project并勾选force选项，如果勾选force，那么不用删除未下载成功的残余文件，在大量jar包未下载成功的时候可以选择勾选force
重新build一下。
2. hadoop jar 没有指定主类名，直接将主类名放在first.jar后会提示找不到input那个文件夹
hadoop jar first.jar /user/root/hadoop-logs/ /user/root/logcleanjob_output




#######################################
附录：LogCleanJob.java


package com.first;


//package techbbs;


import java.net.URI;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


public class LogCleanJob extends Configured implements Tool {


    public static void main(String[] args) {
        Configuration conf = new Configuration();
        try {
            int res = ToolRunner.run(conf, new LogCleanJob(), args);
            System.exit(res);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }


    //@Override
    public int run(String[] args) throws Exception {
        final Job job = new Job(new Configuration(),
                LogCleanJob.class.getSimpleName());
        // 设置为可以打包运行
        job.setJarByClass(LogCleanJob.class);
        FileInputFormat.setInputPaths(job, args[0]);
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(Text.class);
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 清理已存在的输出文件
        FileSystem fs = FileSystem.get(new URI(args[0]), getConf());
        Path outPath = new Path(args[1]);
        if (fs.exists(outPath)) {
            fs.delete(outPath, true);
        }
        
        boolean success = job.waitForCompletion(true);
        if(success){
            System.out.println("Clean process success!");
        }
        else{
            System.out.println("Clean process failed!");
        }
        return 0;
    }


    static class MyMapper extends
            Mapper<LongWritable, Text, LongWritable, Text> {
        LogParser logParser = new LogParser();
        Text outputValue = new Text();


        protected void map(
                LongWritable key,
                Text value,
                org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, LongWritable, Text>.Context context)
                throws java.io.IOException, InterruptedException {
            final String[] parsed = logParser.parse(value.toString());


            // step1.过滤掉静态资源访问请求
            if (parsed[2].startsWith("GET /static/")
                    || parsed[2].startsWith("GET /uc_server")) {
                return;
            }
            // step2.过滤掉开头的指定字符串
            if (parsed[2].startsWith("GET /")) {
                parsed[2] = parsed[2].substring("GET /".length());
            } else if (parsed[2].startsWith("POST /")) {
                parsed[2] = parsed[2].substring("POST /".length());
            }
            // step3.过滤掉结尾的特定字符串
            if (parsed[2].endsWith(" HTTP/1.1")) {
                parsed[2] = parsed[2].substring(0, parsed[2].length()
                        - " HTTP/1.1".length());
            }
            // step4.只写入前三个记录类型项
            outputValue.set(parsed[0] + "\t" + parsed[1] + "\t" + parsed[2]);
            context.write(key, outputValue);
        }
    }


    static class MyReducer extends
            Reducer<LongWritable, Text, Text, NullWritable> {
        protected void reduce(
                LongWritable k2,
                java.lang.Iterable<Text> v2s,
                org.apache.hadoop.mapreduce.Reducer<LongWritable, Text, Text, NullWritable>.Context context)
                throws java.io.IOException, InterruptedException {
            for (Text v2 : v2s) {
                context.write(v2, NullWritable.get());
            }
        };
    }


    /*
     * 日志解析类
     */
    static class LogParser {
        public static final SimpleDateFormat FORMAT = new SimpleDateFormat(
                "d/MMM/yyyy:HH:mm:ss", Locale.ENGLISH);
        public static final SimpleDateFormat dateformat1 = new SimpleDateFormat(
                "yyyyMMddHHmmss");


        public static void main(String[] args) throws ParseException {
            final String S1 = "27.19.74.143 - - [30/May/2013:17:38:20 +0800] \"GET /static/image/common/faq.gif HTTP/1.1\" 200 1127";
            LogParser parser = new LogParser();
            final String[] array = parser.parse(S1);
            System.out.println("样例数据： " + S1);
            System.out.format(
                    "解析结果：  ip=%s, time=%s, url=%s, status=%s, traffic=%s",
                    array[0], array[1], array[2], array[3], array[4]);
        }


        /**
         * 解析英文时间字符串
         * 
         * @param string
         * @return
         * @throws ParseException
         */
        private Date parseDateFormat(String string) {
            Date parse = null;
            try {
                parse = FORMAT.parse(string);
            } catch (ParseException e) {
                e.printStackTrace();
            }
            return parse;
        }


        /**
         * 解析日志的行记录
         * 
         * @param line
         * @return 数组含有5个元素，分别是ip、时间、url、状态、流量
         */
        public String[] parse(String line) {
            String ip = parseIP(line);
            String time = parseTime(line);
            String url = parseURL(line);
            String status = parseStatus(line);
            String traffic = parseTraffic(line);


            return new String[] { ip, time, url, status, traffic };
        }


        private String parseTraffic(String line) {
            final String trim = line.substring(line.lastIndexOf("\"") + 1)
                    .trim();
            String traffic = trim.split(" ")[1];
            return traffic;
        }


        private String parseStatus(String line) {
            final String trim = line.substring(line.lastIndexOf("\"") + 1)
                    .trim();
            String status = trim.split(" ")[0];
            return status;
        }


        private String parseURL(String line) {
            final int first = line.indexOf("\"");
            final int last = line.lastIndexOf("\"");
            String url = line.substring(first + 1, last);
            return url;
        }


        private String parseTime(String line) {
            final int first = line.indexOf("[");
            final int last = line.indexOf("+0800]");
            String time = line.substring(first + 1, last).trim();
            Date date = parseDateFormat(time);
            return dateformat1.format(date);
        }


        private String parseIP(String line) {
            String ip = line.split("- -")[0].trim();
            return ip;
        }
    }
}




######################################################
完整的pom.xml 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>


  <groupId>com</groupId>
  <artifactId>first</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>


  <name>first</name>
  <url>http://maven.apache.org</url>


  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>


  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>2.7.2</version>
        </dependency>
  </dependencies>
   <build>
  <defaultGoal>compile</defaultGoal>
  <plugins>  
            <plugin>  
                <artifactId>maven-assembly-plugin</artifactId>  
                <configuration>  
                    <archive>  
                        <manifest>  
                            <mainClass>com.first.LogCleanJob</mainClass>  
                        </manifest>  
                    </archive>  
                    <descriptorRefs>  
                        <descriptorRef>jar-with-dependencies</descriptorRef>  
                    </descriptorRefs>  
                </configuration>  
            </plugin>  
        </plugins>  
  </build>
</project>


Hadoop实现数据清洗ETL
waectr的博客
07-26 8301
准备 LKh7zAJ4nwo TheReceptionist 653 Entertainment 424 13021 4.34 1305 744 DjdA-5oKYFQ NxTDlnOuybo c-8VuICzXtU DH56yrIO5nI W1Uo5DQTtzc E-3zXq_r4w0 1TCeoRPg5dE yAr26YhuYNY 2ZgXx72XmoE -7ClGo-YgZ0 vmdPOOd...
大数据基础（十）Maven构建Hadoop日志清洗项目（二）
星门学派（Star School）
08-13 1589
Maven Hadoop日志清洗项目（二） Hadoop 2.7.2  Hive 2.1.0  Sqoop 1.4.6 参考： http://www.cnblogs.com/edisonchou/p/4464349.html 1、将HDFS中清洗好的文件入库hive 为了能够借助Hive进行统计分析，首先我们需要将清洗后的数据存入Hive中，那
hadoop日志分析系统二 第二部分利用hadoop平台进行数据处理 第三种方式 hive+sqoop+zookeeper方式
光明宇宙
11-09 1342
Hive 是建立在 Hadoop  上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言，称为 QL ，它允许熟悉 SQL  的用户查询数据。同时，这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  和
hadoop 处理日志
梁小明的博客
12-29 1001
hadoop 处理日志 127.0.0.1 - - [03/Jul/2014:23:36:38 +0800] "GET /course/detail/3.htm HTTP/1.0" 200 38435 0.038 182.131.89.195 - - [03/Jul/2014:23:37:43 +0800] "GET / HTTP/1.0" 301 - 0.000 127.0.0.1 - -
Hadoop离线项目之数据清洗
思亘七险，点落九宫，神游八极，纵横十方。
04-15 1001
Hadoop离线项目之数据清洗 1.背景 1.1 企业级大数据项目开发流程 项目调研：技术？业务？ ​ 以业务为导向的项目调研,根据不同的行业对项目进行调研,主要以 产品经理、非常熟悉业务的、项目经理等人员进行项目调研. 需求分析：明确做什么 做成什么样子的（做东西不要局限于某个技术） ​ 首先需求是由用户提出,是可见的,明确规定了需要什么,其次是隐式的需求,隐式的需求需要开发...
Hadoop 教程 - MapReduce框架原理之数据清洗
qq_33240556的博客
06-24 642
在Hadoop的MapReduce框架中，数据清洗是预处理阶段的一个重要环节，用于去除或修正原始数据中的错误、重复、不完整或格式不一致的信息，确保后续分析和处理的数据质量。
大数据实战第二课-Hadoop离线项目之数据清洗
zhikanjiani的博客
04-13 1381
一、开发流程： 项目调研：技术、业务 产品经理、项目经理 需求分析：做什么 做成什么样 用户提出来的：显示 隐示需求：不懂的客户要为客户提供方案 甘特图 方案设计： 概要设计、详设、系统设计（设计文档代码化） 功能开发： 开发 测试：功能单元测试 CICD 测试： 功能 联调 性能 用户 试用（像我们erp系统开发、测试人员测试完后交由需求提出方进行测试） 部署上线： 试运行 DIFF 稳...
大数据开发简历项目部分.pdf
07-16
在开发环境中，使用了集成开发环境（IDEA）、maven构建工具、scala语言、Java开发套件（JDK）以及git版本控制系统。系统架构中包括了ElasticSearch、Logstash、Kafka、Zookeeper、Spark、Hdfs、Hbase、MySQL和...
网站流量日志数据分析系统的构建及可视化：Hadoop环境搭建、Flume数据采集、MapReduce预处理及FineBI可视化
最新发布
01-20
首先是创建Maven项目并通过Java程序模拟生成Nginx日志并将其打包成jar文件传输至Hadoop集群。接着利用Flume工具将Nginx日志采集到HDFS。随后，实现了基于Hadoop的MapReduce程序，将原始日志进行预处理和转换，并最终...
【代码质量提升】：Eclipse和Maven在Hadoop项目中的5大质量优化技巧
![【代码质量提升】：Eclipse和Maven在Hadoop项目中的5大质量优化技巧]... # 摘要 本文旨在为Hadoop项目开发提供全面的实践指南，涵盖了从环境配置到代码优化，再到项目交付的全流程。首先介绍了Eclipse集成开发环境的...
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
11-23
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
Hadoop集群搭建清洗数据
2302_80426111的博客
10-25 924
由于node2和node3机器是由node1克隆而来，所以它们3个的UUID是相同的，会发生冲突，所以需要会node2和node3重新生成UUID以替换网卡配置文件中默认的UUID。日期:{str[0]}, 时间:{str[1]}, 服务器ip地址:{str[2]}, 客户端ip地址:{str[8]},返回码{str[11]}")3）执行exit命令可退出对node2的访问，回到node1;【第4段的“2”修改为：与NAT配置中的网关值保持一致】① 编辑Node1的环境变量文件/etc/profile，
Hadoop_数据清洗示例
热门推荐
BLU_111的博客
05-12 4万+
Hadoop_数据清洗 示例（去除空行、开头为空格的数据）： 原始数据：D:\data\testdata.txt zhangsan 500 450 jan zhangsan 550 450 feb lisi 210 150 jan lisi 200 150 feb zhangsan 400 150 march zhangsan 600 500 april lisi 190 150 april 800 100 jan BLU 2000 200 feb lisi 110 10 may
Eclipse下 Hadoop Maven 项目log4j配置
u011007180的博客
08-20 1775
在src/mian/java目录下放一个log4j.properties文件，加上日志格式内容，例如： log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayou
hadoop 2.7.2使用maven编译安装
templarzq的专栏
05-27 2373
（1）依赖包： libssl-dev   zlib1g-dev  openssl  protobuf2.5 maven  jdk1.7 cmake （2） mvn  clean package -DskipTests -Pdist,native, docs 其中docs根据需要添加。
大数据实训第四天总结
lzq603的博客
09-03 404
经过同学们的反馈，今天的内容还是比较多的 在此记录下最主要的两个案例 案例一-日志清洗 今晚的一个任务是使用MapReduce完成一个日志文件清洗，在此记录下清洗过程 日志数据格式： 101.226.33.222 - - [31/Mar/2015:23:59:59 +0800] "GET /uc_server/data/avatar/...
oracle job日志清除,修改Oracle的Job Scheduler 日志级别及删除运行日志
weixin_32273159的博客
04-06 718
Job 运行久了会产生大量运行日志，这些信息可通过下面的方式清除:1、创建job：Createjoblinkstopreviousjobclass.DBMS_SCHEDULER.create_job(job_name=>'test_log_job',job_type=>'PLSQL_BLOCK',job_action=&gt...
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标（一）
cafebar123的专栏
06-24 803
maven3.5+hadoop2.7.3统计米骑测试日志KPI指标（一） 米骑 app 共享单车平台
如何在日志分析中进行数据清洗
weixin_34236497的博客
04-14 799
如何在日志分析中进行数据清洗 前提 我们在进行日志分析的时候，那么日志的数据是杂乱无章的，或则说日志的数据并不是我们都想看到的。所以我们需要对里面的数据进行清洗，说的直白一点就是要过滤里面的字符串。 下面便是我们需要去过滤的原始数据： 183.131.11.98 - - [01/Aug/2014:01:01:05 +0800] "GE...
大数据开发实战：游戏运营与社区行为分析项目
- **系统架构**：包括ElasticSearch、Logstash、Kafka、Zookeeper、Spark、HDFS、HBase、MySQL和Echarts，构建了一个数据采集、处理、存储和可视化的一体化解决方案。通过分析如新增玩家、活跃度、留存率、流失率、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值