大数据学习之路10-mapreduce思想引入

最新推荐文章于 2022-06-19 14:33:21 发布

未来@音律

最新推荐文章于 2022-06-19 14:33:21 发布

阅读量242

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据生态圈从入门到精通

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.youkuaiyun.com/qq_37050372/article/details/81633863

大数据生态圈从入门到精通专栏收录该内容

132 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了大数据学习的基础——MapReduce思想，从单机MapReduce的原理出发，逐步解析其在分布式环境中的应用，为初学者提供了一个理解MapReduce的入口。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单机mapreduce:

package com.test.mryinru;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;
import java.util.Map.Entry;
import java.util.Set;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class MySingleWordCount {
    public static void main(String[] args) throws Exception {
    	FileSystem fs = FileSystem.get(new URI("hdfs://marshal:9000"),new Configuration(),"root");
    	FSDataInputStream in = fs.open(new Path("/wordcount/input/a.txt"));
    	BufferedReader br = new BufferedReader(new InputStreamReader

了解本专栏