【Hadoop-MapReduce】MapReduce编程步骤及工作原理

1)MapReduce的基本介绍:分布式计算框架

思想分而治之

map:负责的过程

reduce:负责的过程

2)MapReduce的编程规范步骤

(1)map阶段:2步

1、读取数据,将读取过来的数据转换为k1和v1。

2、自定义map逻辑,将k1和v1转换为k2和v2。

(2)shuffle阶段: 4步(接收map阶段的k2和v2转换为new k2和v2)

3、分区 : 将相同的k2的数据发往同一个reduce。

4、排序 : 针对k2的数据进行排序工作。

5、规约 : mr中优化步骤,用于进行局部聚合功能,一般是可以省略的。

6、分组 : 将相同k2的数据分成一组,将v2的数据合并形成一个集合。

(3)reduce阶段: 2步

7、自定义reduce逻辑,接收k2和v2的数据,将其转换为k3和v3。

8、输出结果,将k3和v3输出到目的地。

注意:k2就是整个MR的灵魂

3)MapReduce的并行度机制

何为并行度: 在执行MR的时候,map运行的数量以及reduce运行数量由谁来决定的问题。

(1)map运行的数量:取决于读取文件的大

<think>我们正在解决Hadoop2.7.7运行MapReduce示例程序时出现的"找不到或无法加载主类"错误。根据引用[1]和[2],用户尝试运行示例程序(如pi或grep)时遇到问题。这个错误通常是由于Hadoop类路径配置不正确或示例JAR文件路径错误引起的。解决方案步骤:1.**确认JAR文件路径**:首先,确保你使用的JAR文件路径正确。在Hadoop2.7.7中,示例JAR文件通常位于:`$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar`使用绝对路径来运行命令,例如:```bashhadoopjar/path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jarpi1010```2.**设置HADOOP_CLASSPATH**:如果类路径没有正确设置,Hadoop可能无法找到主类。可以尝试设置`HADOOP_CLASSPATH`环境变量,包含示例JAR文件所在的目录:```bashexportHADOOP_CLASSPATH=$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar```3.**检查Hadoop配置文件**:确保`mapred-site.xml`中配置了正确的框架名称(YARN):```xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>```4.**重新初始化环境变量**:有时环境变量可能没有正确加载,尝试重新加载环境变量:```bashsource$HADOOP_HOME/etc/hadoop/hadoop-env.sh```5.**检查JAVA_HOME设置**:在`hadoop-env.sh`中确认`JAVA_HOME`设置正确(引用[3][4]):```bashexportJAVA_HOME=/usr/local/src/jdk1.8.0_381#替换为你的实际路径```6.**使用完整的类名**:如果上述方法无效,可以尝试使用完整的类名运行。例如,计算pi的类名为`org.apache.hadoop.examples.Pi`:```bashhadoopjar/path/to/hadoop-mapreduce-examples-2.7.7.jarorg.apache.hadoop.examples.Pi1010```7.**检查Hadoop服务状态**:确保HDFS和YARN服务已经启动:```bashstart-dfs.shstart-yarn.sh```8.**检查JAR文件完整性**:确认JAR文件没有损坏。可以通过列出JAR文件内容来检查:```bashjartf/path/to/hadoop-mapreduce-examples-2.7.7.jar|grepPi.class```应该能看到`org/apache/hadoop/examples/Pi.class`。9.**检查用户权限**:确保当前用户有权限执行Hadoop命令和访问JAR文件。如果以上步骤仍无法解决问题,请检查Hadoop日志(位于`$HADOOP_HOME/logs/`)以获取更详细的错误信息。相关问题:1.Hadoop中如何正确配置类路径?2.如何诊断Hadoop作业提交失败的原因?3.HadoopMapReduce示例程序有哪些常用示例?4.如何修复Hadoop中的类加载问题?</think>### 解决 Hadoop 2.7.7 MapReduce "找不到或无法加载主类" 错误 #### 🔍 问题原因分析 该错误通常由以下原因引起: 1. **JAR文件路径错误**:Hadoop无法定位示例程序JAR文件[^1][^2] 2. **类路径配置缺失**:Hadoop未正确加载MapReduce依赖库 3. **环境变量未生效**:`HADOOP_CLASSPATH`未包含必要路径 4. **JAR文件损坏**:下载或传输过程中文件损坏 #### ✅ 解决方案步骤 ##### 1. 验证JAR文件路径 ```bash # 检查示例JAR是否存在(注意版本号) ls $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar # 正确执行命令格式(使用绝对路径) hadoop jar /path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 10 10 ``` ##### 2. 配置全局类路径 编辑 `hadoop-env.sh` 添加类路径: ```bash vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh ``` 添加以下配置(根据实际路径调整): ```bash export HADOOP_CLASSPATH=$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/common/* ``` ##### 3. 修复依赖库路径 在 `mapred-site.xml` 添加库路径配置: ```xml <property> <name>mapreduce.application.classpath</name> <value> $HADOOP_HOME/share/hadoop/mapreduce/*, $HADOOP_HOME/share/hadoop/mapreduce/lib/*, $HADOOP_HOME/share/hadoop/common/*, $HADOOP_HOME/share/hadoop/common/lib/* </value> </property> ``` ##### 4. 验证JAR文件完整性 ```bash # 检查文件MD5(应与官方一致) md5sum $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar # 重新下载损坏的JAR(从官方镜像) wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -xzf hadoop-2.7.7.tar.gz --strip-components=2 hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar ``` ##### 5. 使用完整类名执行 ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \ org.apache.hadoop.examples.Pi 10 10 ``` ##### 6. 检查服务状态 确保HDFS和YARN已启动: ```bash # 检查NameNode hdfs dfsadmin -report # 检查YARN资源管理器 yarn node -list ``` #### ⚠️ 注意事项 1. **权限问题**:确保执行用户对JAR文件有读取权限 2. **配置同步**:在集群环境下同步所有节点的配置文件 3. **环境变量生效**:修改后执行 `source $HADOOP_HOME/etc/hadoop/hadoop-env.sh` 4. **版本一致性**:确认命令中的JAR版本号与实际完全匹配 > 通过上述步骤可解决99%的类加载错误。若仍失败,检查 `$HADOOP_HOME/logs/userlogs/` 中的详细错误日志。 --- ### 相关问题 1. **如何验证Hadoop集群的MapReduce功能是否正常?** > 探讨MapReduce健康检查的标准流程 2. **Hadoop类路径冲突有哪些典型表现?如何解决?** > 分析类加载冲突的诊断方法与解决策略 3. **Hadoop 2.x与3.x的MapReduce API有何兼容性差异?** > 对比版本间API变化及迁移注意事项 4. **如何为自定义MapReduce作业配置依赖库?** > 解析作业依赖管理的三种实现方式 5. **Hadoop环境变量配置的最佳实践是什么?** > 探讨全局配置与作业级配置的优先级管理 [^1]: Hadoop示例程序执行方法 [^2]: MapReduce作业运行错误分析 [^3]: Hadoop类路径配置规范 [^4]: JAR文件完整性验证流程 [^5]: Hadoop服务状态检查方法
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值