Hadoop的单机模式和官方示例

最新推荐文章于 2023-04-07 22:16:22 发布

良辰美景奈何天_

最新推荐文章于 2023-04-07 22:16:22 发布

阅读量506

点赞数

分类专栏：大数据文章标签： hadoop 大数据

本文链接：https://blog.youkuaiyun.com/qq_27281657/article/details/106004705

版权

本文介绍了Hadoop的单机模式，无需配置即可直接运行。详细步骤包括环境准备和两个官方示例：Grep案例中，创建input目录，添加测试文件，执行MR任务，验证输出结果；WordCount案例中，创建wcinput目录，编辑wc.input文件，执行任务并验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、单机模式说明

单机模式是Hadoop的默认模式。
又称本地模式、独立模式等。
因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。
该模式主要用于开发调试MapReduce程序的应用逻辑。

在一台linux机器上，安装好hadoop运行环境，安装方式请查看：HADOOP运行环境搭建

首先说明，单机模式在安装之后不需要修改任何配置，配置文件为空即可！
之所以单机模式不需要任何配置文件，是因为配置文件不配置时，系统默认值即为单机模式所需。

配置文件名	配置项	配置项含义	默认值	默认值含义
core-site.xml	fs.defaultFS	默认文件系统的名称，可以是HDFS的NameNode地址或者本地	file:///	文件读取和存储都在本地
mapred-site.xml	mapreduce.framework.name	指定执行MapReduce任务的框架。可以是本地、经典、yarn	local	指定MR运行在本地