- 博客(5)
- 收藏
- 关注
RSS订阅原创 hadoop jar 命令
统计用户登陆次数 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /user/root/email_log.txt /user/root/output2 统计单词平均长度 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordm.
2021-11-25 09:59:36
2303
原创 Mapper和Reduce代码逻辑
//自定义MyMapper类继承Mapper public class MyMapper extends Mapper<Object, Text, Text, IntWritable>{ //定义初始次数为1 private final static IntWritable one = new IntWritable(1); //覆写map函数 public void map(Object key, Text value, Context context) throws IOExcept.
2021-11-19 13:53:54
244
原创 WordCount源码解析
WordCount从结构上可以分为3个部分，分别是Driver、Mapper、Reducer。 首先，我们来分析Mapper。在我们自定义类继承Mapper的时候要格外注意键值对的输入、输出格式，键值对的输入、输出格式要和类读取生成的输入、输出格式匹配。Mapper任务启动后首先执行setup函数，该作用是初始化。map函数针对每条输入键值对执行函数中定义的逻辑处理，并按规定的键值对格式输出。在所有键值对处理完成后，再调用cleanup函数，其作用是关闭资源。 public class Wo...
2021-11-19 13:29:23
1018
原创 Hadoop简介
Hadoop是分布式系统基础架构，具有高速运算和储存、数据存量和增量极大、可以存储极大数据可靠、高效、可伸缩、成本低的优点。Hadoop框架最核心的设计是HDFS和MapReduce。Hadoop核心：Hadoop Common（是一个公共基础设施，用于支撑其他项目，包括RPC、序列化包等）、Hadoop Hdfs（可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取）、HadoopMapreduce（分布式计算框架：主要包含map（映射）和reduce（规约）过程）。 分布式文件系统：高度.
2021-09-17 15:19:45
411
原创 JAVA中项目（九九乘法表）
在开始做项目时首先要确定九九乘法表要用到俩个变量并且是int型变量，于是我们定义a、b俩个变量，并且运用for循环。但我开始时把他当做一个很简单的问题很快的做完了，由于我的不细心出现了一个预期之外的效果，下图是我预想中的效果。 可事实中的效果却是这样 正当我百思不得其解的时候，正巧有一名同学问了ln是什么作用，我想起来ln是换行的作用，于是我就看我写的代码 问题正是出在ln上。解决了问题后我终于得到了我想要的结果。 ...
2021-09-02 10:52:18
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人