hadoop-2.3.0运行wordcount程序

最新推荐文章于 2022-04-18 12:05:41 发布
最新推荐文章于 2022-04-18 12:05:41 发布
阅读量400 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tangtang5156/article/details/40817457
本文介绍如何通过Hadoop自带的WordCount程序来检测MapReduce环境。首先在本地创建测试文件并上传至HDFS，然后运行特定命令进行WordCount任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

用hadoop自带的wordcount程序运行检测mapreduce环境：

1 先在本地新建几个测试文件，上传到hdfs上，如上传至hdfs的文件夹/test_in中

2 运行命令

hadoop jar /opt/hadoop-2.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount /test_in /out

(/out一定要是一个新目录，事先不存在)

hadoop 2.7.3 mysql_Hadoop-2.7.3-本地模式安装-wordcount例子
weixin_31556767的博客
01-25 195
准备虚拟机：linux-rhel-7.4-server，由于不使用虚拟机进行联网，所以选择host-only网络模式。此处，需要再VitralBox的管理菜单中的主机网络管理器新建一个虚拟网卡。安装完成虚拟机之后，默认网卡是关闭的，需要进行开启，指令如下：[root@hadoop-01 network-scripts]#vi ifcfg-enp0s3 #默认网卡配置TYPE=EthernetPRO...
Spark集群的安装
谦卑t
01-06 364
5、Spark集群的安装   5.1、Spark版本的选择 三大主要版本： Spark-0.X Spark-1.X（主要 Spark-1.3 和 Spark-1.6） Spark-2.X（最新 Spark-2.3）  官网首页：http://spark.apache.org/downloads.html  我们选择的版本：spark-2.3.0-bin-hadoop2.7.tg...
hadoop-2.3.0 配置
绍辉的个人博客
04-04 1340
1： 下载 hadoop-2.3.0.tar.gz； ubuntu-12.04.4-desktop-i386.iso ；jdk-7u25-linux-i586.tar.gz；vmware 2：安装vmware, ubuntu, 3:安装JDK7 参考 ：http://blog.csdn.net/shaohui2014/article/details/22271845
Hadoop-2.3.0学习（2）——Wordcount的运行以及遇到的问题
welcome to my life
06-05 1234
时间紧迫，直接开始啦！ 第一步：
yarn hadoop-2.3.0 installation cluster Centos 64bits
aiyongshan6014的博客
04-01 101
Apache Hadoop -2.2.0 - How to Install a Three Nodes Cluster http://tonylixu.blogspot.ca/2014/02/apache-hadoop-how-to-install-three.html Centos 6.5 hadoop 2.2.0 全分布式安装 http://xjliao...
Hadoop-2.3.0-cdh5.0.1单机搭建、伪分布式搭建、本地目录配置
禅鸣之时
06-19 183
编写不易，转载请注明（http://shihlei.iteye.com/blog/2082625）！ 一安装概述 Hadoop 安装的三种模式：   1）单机模式（standalone）        单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时...
Hadoop-2.3.0学习（4）——第一个简单的mapreduce程序
welcome to my life
09-09 626
要学习的第一个MapReduce当然是wordcount
在ubuntu12.04LTS上编译64位hadoop-2.3.0并安装测试 单节点
niaokedaoren的专栏
03-02 1390
先看一下安装完之后的版本情况 $ java -version java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode) $ hadoop version Hadoop
Hadoop2.3.0详细安装过程
begefefsef的博客
04-18 2176
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和Ma
Hadoop2.3.0具体安装过程
weixin_34212189的博客
11-11 468
前言：       Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要...
hadoop-Spark搭建视频教程（自己录制）
07-16
4. **运行示例程序**：运行Spark自带的示例程序，如WordCount，进一步测试Spark的功能。 教程中还包含了一些辅助资源，如"视频2开头处说明.png"可能是视频中某个关键步骤的截图，帮助理解操作流程。"hadoop搭建.txt...
hadoop 2.3.0-cdh5.0.0笔记
kydkong的博客
12-18 415
hadoop笔记
配置 hadoop 开发环境+运行 wordcount 程序
Zephyr's Blog
01-14 4143
一 eclipse 中 hadoop 环境部署概览 二 前期准备 三 配置 Hadoop 开发环境 四 Eclipse 中直接提交 MapReduce任务 1 新建 MapReduce工程 2 新建 java 工程 五 以 Jar 包方式运行 1 系统 Export 输出 jar 包 2 使用第三方插件 FatJar 六 参考资料 1 FatJar 安装 2 参考链接一. eclipse 中
hadoop命令行运行wordcount程序 web端监控不到作业状态
热门推荐
tangtang5156的专栏
11-06 1万+
在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。 修改集群配置文件yarn-site.xml，加上如下几句：         mapreduce.framework.name         yarn 重启运行wordcount，页面有作业显示，如下 但是作业运行失败，报错： 14/1
Eclipse打包mapreduce程序并提交至hadoop集群运行
tangtang5156的专栏
11-07 5060
在命令行里能够将程序运行在hadoop集群环境后，
hadoop2.3.0 datanode启动后消失
tangtang5156的专栏
11-04 1323
错误：单独启动datanode和namenode可以 单独启动resourcemanager后datanode消失。
windows Eclipse远程连接linux hadoop2.3.0伪分布式
tangtang5156的专栏
11-06 863
程序为hadoop2.3.0中的wordcount源码 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop
mapreduce编程模型学习--1
tangtang5156的专栏
05-05 506
mapreduce适用的场景具有共同特点：任务能被分解为相互独立的子问题，
hadoop2.3.0伪分布式可用的配置文件内容
tangtang5156的专栏
11-06 425
core-site.xml:                         fs.defaultFS                 hdfs://192.168.0.7:9000                 true                                 io.file.buffer.size                 131072
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值