在idea上开发MapReduce应用

最新推荐文章于 2024-05-09 22:26:05 发布
原创 最新推荐文章于 2024-05-09 22:26:05 发布 · 5.2k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何在VMware上安装配置Hadoop 2.8.5，通过Maven搭建Hadoop应用工程，并实现MapReduce应用程序开发。涵盖开发前准备、工程搭建、核心代码解析及测试调试全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、开发前准备

hadoop:2.8.5

winutils:2.8.3

①在开发mapreduce之前，你需要在vmware安装hadoop，hadoop版本根据你安装的版本决定

②在windows上运行MapReduce程序，需要下载winutils，下载地址：https://github.com/steveloughran/winutils

③将winutils解压到对应的目录下，将bin中的hadoop.dll复制到C:\Windows\System32中

 

二、在idea通过maven搭建hadoop应用工程

第一步：新建maven工程，命名为hadoop-reduce

第二步：添加maven依赖

<!-- hadoop dependencies -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!--hadoop end -->

第三步：在resources下添加core-site.xml

<configuration>
	<property>
            <name>fs.default.name</name>
            <value>hdfs://192.168.48.110:9000</value>
            <description>HDFS的URI，文件系统://namenode标识:端口号</description>
	</property>

	<property>
            <name>hadoop.tmp.dir</name>
	    <value>/usr/local/hadoop/tmp</value>
	    <description>namenode上本地的hadoop临时文件夹</description>
	</property>
</configuration>

 

三、开发MapReduce应用程序

package com.msa.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.util.Iterator;
import java.util.StringTokenizer;

/**
 * wordcount测试调试类
 */
public class WordCount {

    /**
     * The type Tokenizer mapper.
     */
    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable> {


        /**
         * The constant one.
         */
        public static final IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                this.word.set(itr.nextToken());
                context.write(this.word, one);
            }
        }

    }

    /**
     * The type Int sum reduce.
     */
    public static class IntSumReduce extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            IntWritable val;
            for (Iterator i = values.iterator(); i.hasNext(); sum += val.get()) {
                val = (IntWritable) i.next();
            }
            this.result.set(sum);
            context.write(key, this.result);
        }
    }

    /**
     * The entry point of application.
     *
     * @param args the input arguments
     * @throws IOException            the io exception
     * @throws ClassNotFoundException the class not found exception
     * @throws InterruptedException   the interrupted exception
     */
    public static void main(String[] args)
            throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        if (args.length != 2) {
            System.err.println("Usage:Merge and duplicate removal <in> <out>");
            System.exit(2);
        }

        FileSystem fileSystem = FileSystem.get(URI.create(args[1]), conf);
        if(fileSystem.exists(new Path(args[1]))) {
            fileSystem.delete(new Path(args[1]), true);
        }

        Job job = Job.getInstance(conf, "WordCount");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setReducerClass(WordCount.IntSumReduce.class);
        job.setCombinerClass(WordCount.IntSumReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

四、测试调试

启动WordCount测试类，出现如下信息：

[INFO ] 2018-12-16 12:24:03,596 method:org.apache.hadoop.mapred.Task.done(Task.java:1139)
Final Counters for attempt_local2051717568_0001_m_000000_0: Counters: 23
	File System Counters
		FILE: Number of bytes read=162
		FILE: Number of bytes written=372896
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=42
		HDFS: Number of bytes written=0
		HDFS: Number of read operations=6
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Map-Reduce Framework
		Map input records=4
		Map output records=5
		Map output bytes=60
		Map output materialized bytes=76
		Input split bytes=111
		Combine input records=5
		Combine output records=5
		Spilled Records=5
		Failed Shuffles=0
		Merged Map outputs=0
		GC time elapsed (ms)=0
		Total committed heap usage (bytes)=190316544
	File Input Format Counters 
		Bytes Read=42
[INFO ] 2018-12-16 12:24:03,597 method:org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:276)
Finishing task: attempt_local2051717568_0001_m_000000_0
[INFO ] 2018-12-16 12:24:03,597 method:org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:483)
map task executor complete.
[INFO ] 2018-12-16 12:24:03,604 method:org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:475)
Waiting for reduce tasks
[INFO ] 2018-12-16 12:24:03,605 method:org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:329)
Starting task: attempt_local2051717568_0001_r_000000_0
[INFO ] 2018-12-16 12:24:03,620 method:org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.<init>(FileOutputCommitter.java:123)
File Output Committer Algorithm version is 1
[INFO ] 2018-12-16 12:24:03,621 method:org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.<init>(FileOutputCommitter.java:138)
FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
[INFO ] 2018-12-16 12:24:03,622 method:org.apache.hadoop.yarn.util.ProcfsBasedProcessTree.isAvailable(ProcfsBasedProcessTree.java:168)
ProcfsBasedProcessTree currently is supported only on Linux.
[INFO ] 2018-12-16 12:24:03,696 method:org.apache.hadoop.mapred.Task.initialize(Task.java:620)
 Using ResourceCalculatorProcessTree : org.apache.hadoop.yarn.util.WindowsBasedProcessTree@36e5a131
[INFO ] 2018-12-16 12:24:03,702 method:org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:362)
Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@16f5951f
[INFO ] 2018-12-16 12:24:03,754 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.<init>(MergeManagerImpl.java:206)
MergerManager: memoryLimit=1153853056, maxSingleShuffleLimit=288463264, mergeThreshold=761543040, ioSortFactor=10, memToMemMergeOutputsThreshold=10
[INFO ] 2018-12-16 12:24:03,758 method:org.apache.hadoop.mapreduce.task.reduce.EventFetcher.run(EventFetcher.java:61)
attempt_local2051717568_0001_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events
[INFO ] 2018-12-16 12:24:03,797 method:org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1411)
Job job_local2051717568_0001 running in uber mode : false
[INFO ] 2018-12-16 12:24:03,800 method:org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1418)
 map 100% reduce 0%
[INFO ] 2018-12-16 12:24:03,814 method:org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.copyMapOutput(LocalFetcher.java:145)
localfetcher#1 about to shuffle output of map attempt_local2051717568_0001_m_000000_0 decomp: 72 len: 76 to MEMORY
[INFO ] 2018-12-16 12:24:03,825 method:org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.doShuffle(InMemoryMapOutput.java:93)
Read 72 bytes from map-output for attempt_local2051717568_0001_m_000000_0
[INFO ] 2018-12-16 12:24:03,828 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.closeInMemoryFile(MergeManagerImpl.java:321)
closeInMemoryFile -> map-output of size: 72, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->72
[INFO ] 2018-12-16 12:24:03,831 method:org.apache.hadoop.mapreduce.task.reduce.EventFetcher.run(EventFetcher.java:76)
EventFetcher is interrupted.. Returning
[INFO ] 2018-12-16 12:24:03,832 method:org.apache.hadoop.mapred.LocalJobRunner$Job.statusUpdate(LocalJobRunner.java:618)
1 / 1 copied.
[INFO ] 2018-12-16 12:24:03,833 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.finalMerge(MergeManagerImpl.java:693)
finalMerge called with 1 in-memory map-outputs and 0 on-disk map-outputs
[INFO ] 2018-12-16 12:24:03,850 method:org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:606)
Merging 1 sorted segments
[INFO ] 2018-12-16 12:24:03,851 method:org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:705)
Down to the last merge-pass, with 1 segments left of total size: 54 bytes
[INFO ] 2018-12-16 12:24:03,855 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.finalMerge(MergeManagerImpl.java:760)
Merged 1 segments, 72 bytes to disk to satisfy reduce memory limit
[INFO ] 2018-12-16 12:24:03,857 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.finalMerge(MergeManagerImpl.java:790)
Merging 1 files, 76 bytes from disk
[INFO ] 2018-12-16 12:24:03,858 method:org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.finalMerge(MergeManagerImpl.java:805)
Merging 0 segments, 0 bytes from memory into reduce
[INFO ] 2018-12-16 12:24:03,859 method:org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:606)
Merging 1 sorted segments
[INFO ] 2018-12-16 12:24:03,860 method:org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:705)
Down to the last merge-pass, with 1 segments left of total size: 54 bytes
[INFO ] 2018-12-16 12:24:03,861 method:org.apache.hadoop.mapred.LocalJobRunner$Job.statusUpdate(LocalJobRunner.java:618)
1 / 1 copied.
[INFO ] 2018-12-16 12:24:03,901 method:org.apache.hadoop.conf.Configuration.logDeprecation(Configuration.java:1285)
mapred.skip.on is deprecated. Instead, use mapreduce.job.skiprecords
[INFO ] 2018-12-16 12:24:04,017 method:org.apache.hadoop.mapred.Task.done(Task.java:1105)
Task:attempt_local2051717568_0001_r_000000_0 is done. And is in the process of committing
[INFO ] 2018-12-16 12:24:04,022 method:org.apache.hadoop.mapred.LocalJobRunner$Job.statusUpdate(LocalJobRunner.java:618)
1 / 1 copied.
[INFO ] 2018-12-16 12:24:04,022 method:org.apache.hadoop.mapred.Task.commit(Task.java:1284)
Task attempt_local2051717568_0001_r_000000_0 is allowed to commit now
[INFO ] 2018-12-16 12:24:04,038 method:org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:582)
Saved output of task 'attempt_local2051717568_0001_r_000000_0' to hdfs://192.168.48.110:9000/usr/file/output/_temporary/0/task_local2051717568_0001_r_000000
[INFO ] 2018-12-16 12:24:04,040 method:org.apache.hadoop.mapred.LocalJobRunner$Job.statusUpdate(LocalJobRunner.java:618)
reduce > reduce
[INFO ] 2018-12-16 12:24:04,040 method:org.apache.hadoop.mapred.Task.sendDone(Task.java:1243)
Task 'attempt_local2051717568_0001_r_000000_0' done.
[INFO ] 2018-12-16 12:24:04,041 method:org.apache.hadoop.mapred.Task.done(Task.java:1139)
Final Counters for attempt_local2051717568_0001_r_000000_0: Counters: 29
	File System Counters
		FILE: Number of bytes read=346
		FILE: Number of bytes written=372972
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=42
		HDFS: Number of bytes written=50
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=4
	Map-Reduce Framework
		Combine input records=0
		Combine output records=0
		Reduce input groups=5
		Reduce shuffle bytes=76
		Reduce input records=5
		Reduce output records=5
		Spilled Records=5
		Shuffled Maps =1
		Failed Shuffles=0
		Merged Map outputs=1
		GC time elapsed (ms)=17
		Total committed heap usage (bytes)=210763776
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Output Format Counters 
		Bytes Written=50
[INFO ] 2018-12-16 12:24:04,041 method:org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:352)
Finishing task: attempt_local2051717568_0001_r_000000_0
[INFO ] 2018-12-16 12:24:04,041 method:org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:483)
reduce task executor complete.
[INFO ] 2018-12-16 12:24:04,801 method:org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1418)
 map 100% reduce 100%
[INFO ] 2018-12-16 12:24:04,802 method:org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1429)
Job job_local2051717568_0001 completed successfully
[INFO ] 2018-12-16 12:24:04,823 method:org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1436)
Counters: 35
	File System Counters
		FILE: Number of bytes read=508
		FILE: Number of bytes written=745868
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=84
		HDFS: Number of bytes written=50
		HDFS: Number of read operations=15
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=6
	Map-Reduce Framework
		Map input records=4
		Map output records=5
		Map output bytes=60
		Map output materialized bytes=76
		Input split bytes=111
		Combine input records=5
		Combine output records=5
		Reduce input groups=5
		Reduce shuffle bytes=76
		Reduce input records=5
		Reduce output records=5
		Spilled Records=10
		Shuffled Maps =1
		Failed Shuffles=0
		Merged Map outputs=1
		GC time elapsed (ms)=17
		Total committed heap usage (bytes)=401080320
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=42
	File Output Format Counters 
		Bytes Written=50

Process finished with exit code 0

 

在IntelliJ IDEA中打包并提交MapReduce程序
weixin_75145128的博客
06-10 1742
在这篇博客中，我们介绍了如何在IntelliJ IDEA中创建、打包并提交一个简单的MapReduce程序。通过这种方法，您可以轻松地在本地开发和调试MapReduce应用程序，然后将其部署到Hadoop集群中进行大规模数据处理。希望这篇文章对您有所帮助！如果有任何问题或建议，欢迎在评论区留言。
Eclipse开发mapreduce程序环境搭建
feinifi的博客
08-30 4146
Eclipse作为一个常用的java IDE，其使用程度虽然比不上idea那么强大，但是对于习惯使用eclipse开发的人来说，也不失为一个可以选择的IDE。对于喜欢eclipse开发的人来说，就是想让他更加的智能化，更加的友好，比如开发mapreduce程序，我们可以利用hadoop-eclipse-plugin这个插件让eclipse能够可视化查看hdfs上的文件系统，并且可以创建ma...
idea编写mapreduce工程pom文件
08-08
用于在idea编写hadoop（mapreduce）程序时的maven pom文件。可直接使用搭建mapreduce工程。
MapReduce编程(一) Intellij Idea配置MapReduce编程环境
热门推荐
1.02^365=1377.41
03-30 3万+
介绍如何在Intellij Idea中通过创建maven工程配置MapReduce的编程环境。
【windows】IDEA新建MapReduce项目
qq_41726230的博客
04-25 2583
【windows】IDEA新建MapReduce项目
Hadoop 实操（二）使用IDEA编写第一个MapReduce程序
weixin_41827712的博客
11-18 8603
Hadoop 实操（二）使用IDEA编写第一个MapReduce程序 一、IDEA部分： 1、打开idea,新建项目 File->New->Project 2、在弹出的界面选择JDK，我用的IDEA版本是2019.3.1的，自带JDK是11，我安装了1.8，所以这里我选择的是1.8。 3、为项目起名 4、因为我配置了maven，所以我这直接在pom文件里添加了hadoop的依赖。 <repositories> <repository> <
【知识学习】IDEA开发Hadoop MapReduce程序
cls1277的博客
06-26 1269
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/ （1）首先注意SDK的配置 （2）加入Hadoop的jar包依赖 （3）打包配置 根据自己需求写代码，下面附代码样本。 （1）mapper代码： （2）reduce代码片断： （3）run/main代码： 5、配置编译器右上角： 注意：第三个框里只需添入输入路径和输出路径即可6、将数据导入到你的程序中 注意：不要创建output目录，系统会自
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
这篇文章将深入探讨如何在Ubuntu Linux操作系统上使用Scala编程语言，通过Maven构建工具来开发Hadoop MapReduce项目，并在IntelliJ IDEA这样的集成开发环境中进行操作。以下是关于这些主题的详细知识点： 1. **...
Hadoop在Ubuntu Linux上应用Scala开发大数据MapReduce指南
本文档是一篇全面的指南，旨在介绍如何在Ubuntu Linux操作系统上使用Hadoop进行大数据处理，结合Scala编程语言和Maven构建工具，通过IntelliJ Idea集成开发环境(IDE)来实现。这不仅包括了基础的安装和配置步骤，还...
idea hadoop debug mapreduce
最新发布
01-01
为了能够在IntelliJ IDEA中成功设置并运行MapReduce应用程序，需要确保本地开发环境已经正确配置了Hadoop的相关路径和依赖项[^4]。 #### 配置本地Hadoop环境 对于本地机器而言，应当先安装好Hadoop，并将其加入系统...
MapReduce程序在Idea中的开发与调试
一半的博客
04-12 2547
一、环境说明 系统：Win10 Hadoop版本：2.10.1 JDK：1.8 二、环境准备 1、下载hadoop 下载链接hadoop 2.10.1。下载后用解压到本地。 2、下载winutils 下载链接winutils，下载完成后解压到本地，然后复制hadoop对应版本或就近版本的文件夹中的hadoop.dll与winutils.exe文件到hadoop的bin目录中去。 3、配置环境变量 新建环境变量HADOOP_HOME，值为hadoop文件夹的位置 添加变量到PATH 4、最好需要重启
MapReduce程序开发
小黑
05-05 9051
通过API操作之前要先了解几个基本知识基本数据类型Hadoop的基本数据类型和Java的基本数据类型是不一样的，但是都存在对应的关系如下图 如果需要定义自己的数据类型，则必须实现Writable hadoop的数据类型可以通过get方法获得对应的java数据类型 而java的数据类型可以通过hadoop数据类名的构造函数，或者set方法转换关于Hadoop的Writable接口，详情请看Had
Hadoop专栏（四）使用idea操作MapReduce（代码篇）
斯特凡今天也很帅的博客
12-02 1742
写在前面： mapreduce 任务的提交方式 1. 打成JAR包，上传Linux，hadoop jar 执行 2. 嵌入某个应用程序：IDE 直接提交 3. local模式，在Windows上本地执行 以下代码，先使用IDEA直接提交，再打包成jar包后上传Linux执行 一、编写word count代码 注：依赖下载的jar包的配置文件pom.xml放在文末 1.驱动程序WordCountDriver.class package cn.kgc.wordcount; import org.apache.
Windows下，在IDEA中搭建MapReduce开发环境（需基础，非详尽篇）
qq_32220889的博客
09-24 3426
hadoop在官网下载，jdk在官网下载，自行解压下载的hadoop包，安装下载的jdk。 打开IDEA，新建项目： File-&gt;Project Structure： 选择之前解压的hadoop文件夹中的share/hadoop目录下的common、hdfs、mapreduce、yarn： 重复上两步操作，选择share/hadoop/common/lib： ...
使用IDEA编写的第一个MapReduce程序
☁️坐看云起时☁️
04-27 1881
一. 创建MAVEN程序 二.添加项目依赖包 创建完成后，要给项目添加相关依赖包，否则会出错。 点击Idea的File菜单，然后点击“Project Structure”菜单，如下图所示： 导入jar包： 选择hadoop的包，我用得是hadoop3.*。把下面的依赖包都加入到工程中，否则会出现某个类找不到的错误。 （1）”/usr/local/hadoop/share/hadoo...
MapReduce WordCount程序实践（IDEA版）
大头皮鞋的博客
11-05 4771
本文介绍如何使用IDEA工具编写一个MapReduce WordCount程序。
MapReduce工程(IDEA)
weixin_30443075的博客
07-28 425
MapReduce工程(IDEA) hadoop 1. maven工程 1.1 创建maven工程 1.2 修改配置文件 1.3 Mapper类 1.4 Reduces类 1.5 Driver类 1.6 入口类 1.7 测试 2. 普通工程 2.1 添加依赖 2.2 打包 1. maven工程 ...
Maven IDEA环境搭建（MapReducer、Spark）
2402_84895402的博客
05-09 3636
（maven默认的服务器在在国外，后续idea配置maven时，下载会非常慢，需要把服务改到国内的阿里云maven仓库）1、进入idea后先不要创建项目，如果创建项目后先退出项目（这样配置的就是全局设置）1）、下载scala插件（进入插件市场输入scala搜索下载，等待下载完成即可）5、jar包下载完成后进行程序测试（写一个简单的wordcount程序）下载完成后对maven进行解压（idea不需要配置maven环境变量）4、修改maven目录（设置为自己的maven解压目录）下载完成后重启idea。
一起学Hadoop——使用IDEA编写第一个MapReduce程序(Java)
qq_36125181的博客
08-11 2175
使用IDEA编写第一个MapReduce程序(Java） 上两篇文章已经搭建好了hadoop为伪分布式集群，这节我们是编写第一个MapReduce程序（单词字母检查） 1.安装Idea 2.创建maven程序 3.编写程序，导入hadoop jar包 4.打包使用shell命令运行 1.安装Idea 下载安装即可：Idea官网 2.创建maven程序 安装好maven之后（配置环境变量），即可创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值