Hadoop初体验

已于 2023-01-12 10:02:59 修改
阅读量642 收藏 1
点赞数 1
分类专栏： Hadoop 文章标签： hadoop 大数据 mapreduce hdfs
于 2023-01-10 15:40:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/omaidb/article/details/128631197
版权
本文介绍了Hadoop初学者在使用HDFS时执行的shell命令，如创建目录、上传文件和查看存储空间。接着，通过MapReduce和YARN，作者演示了如何计算Pi值和进行词频统计，并提到了通过WebUI监控运行结果。所有示例都基于Hadoop3.1.4版本的官方示例jar包。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop初体验

HDFS初体验

在这里插入图片描述

image.png


HDFS shell常用命令

# 在/目录创建一个目录
hdaoop fs -mkdir /itcast

# 上传文件到/itcast目录中
hadoop fs -put zookeeper.out /itcast

# 查看/目录
hadoop fs -ls /

# 查看存储余量
hdfs dfs -df -h

image.png
在这里插入图片描述

Web UI页面操作

image.png


思考

image.png


Hadoop MapReduce +YARN初体验

# 官方自带的示例jar包目录
/export/server/hadoop-3.1.4/share/hadoop/mapreduce

hadoop-mapreduce-examples-3.1.4.jar是官方提供的示例jar包。
image.png


计算圆周率Pi的值–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 计算圆周率Pi的值
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4

第一步是先连接到YARN集群的主角色ResourceManager,找YARN申请运算资源
image.png


image.png


词频统计–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 统计词频
## hadoop jar jar包名 统计词频参数 指定统计文件 结果输出文件
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount

第一步是先连接到YARN集群的主角色ResourceManager,找YARN申请运算资源
image.png

# 查看统计输出结果
hdfs dfs -cat /out/hlmcount/part-r-00000

image.png


通过webui查看运行结果

image.png

运行 MapReduce 样例
实践求真知
12-17 5713
一 hadoop样例代码 1 样例程序路径 /opt/hadoop-2.7.4/share/hadoop/mapreduce 2 样例程序包 hadoop-mapreduce-examples-2.7.4.jar包含着数个可以直接运行的样例程序 3 如何查看样例程序 ./bin/yarn jar /opt/hadoop-2.7.4/share/hadoop/mapreduce/hado
第一章 Hadoop 初体验
JavaDarren的博客
10-02 488
技能目标 了解大数据和Hadoop 是什么 掌握Hadoop 的核心构成 了解Hadoop 生态圈 掌握虚拟机、CentOS和 Hadoop 的安装 本章任务 学习本章，需要完成以下3个工作任务。记录学习过程中遇到的问题， 通过自己的努力或访问kgc.cn 解决。 任务1：初识大数据 了解大数据的基本概念和基本特征，以及大数据带给企业的挑战有哪些。 任务2：初识 Hadoop 了解 Hadoop 是什么，掌握 Hadoop 的核心构成，了解 Had...
伪分布部署
Turbedadan的博客
12-12 246
一、部署环境 1.hadoop目录下部署环境配置 配置：hadoop-env.sh配置jdk环境变量JAVA_HOME 配置core-site.xml文件 Vi core-site.xml 指定HDFS中namenode的地址。将命令放到configuration标签中 <configuration> <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name>
MapReduce简介
intmiss的博客
10-29 1026
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并...
【无标题】虚拟机执行hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 10 10命令出现了EBADF错误该怎么办
m0_74821676的博客
12-06 633
hadoop-mapreduce-examples
hzdxw的专栏
06-13 3950
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jar pi 2 5 [root@name01 cmake-2.8.12.2]# hadoop version Hadoop 2.3.0-cdh5.1.0 Subversion git://github.sf.cloudera.com/CDH/
Hadoop初体验（2）：使用Xshell连接VMware虚拟机CentOS
OPM的博客
02-21 1346
        因为是用虚拟机实现Hadioop环境搭建，所以主要使用VMware来完成。主要写一下VMware的安装和Xshell连接问题。 一、VMware虚拟机安装         我这里选择的是VMware Workstation Pro 15 官方中文版，官网上有最新的两个版本的下载链接，各种博客也有注册码。要注意的网上的注册码和注册机基本都是针对Pro 15的版本，最开始安装的是普...
Hadoop集群初体验
qq_67915886的博客
01-08 1265
把所有的服务(namenode, SecondaryNameNode, datanode, ResourceManager, nodemanager)装到1台机器, 适用于: 学习, 调试.Yarn的WebUI界面: 192.168.88.161:8088, 只记录本次启动Hadoop集群至关闭, 所有的计算任务.# 细节: HDFS只支持 绝对路径, 不支持相对路径, 且HDFS的路径和Linux一样, 都是 /开头的.
全分布式的Hadoop初体验
biaobiaoqi的老博客
05-12 1814
背景 之前的时间里对Hadoop的使用都是基于学长所搭建起的实验环境的，没有完整的自己部署和维护过，最近抽时间初体验了在集群环境下装机、配置、运行的全过程，梳理总结到本文中。 配置 内存:8GCPU：i5-2400 3.1GHz；硬盘：960G系统：windows 7旗舰 64bits 虚拟机：VMware7.1.1虚拟集群： T （master节点）Ubuntu11
【Hadoop】- MapReduce & YARN 初体验[9]
weixin_63106307的博客
04-21 2492
1、Hadoop自带的MapReduce示例程序的代码jar包是2、使用什么命令提交MapReduce程序到YARN中执行？hadoop jar 命令语法：hadoop jar 程序文件 java类名 [程序参数] ..... [程序参数]3、如何查看程序运行状态在YARN WEB页面查看。
hadoop-mapreduce-examples-2.7.1-sources.jar
08-14
hadoop中的demo，wordcount列子用到的JAR包 用法： # 在容器里运行WordCount程序，该程序需要2个参数：HDFS输入目录和HDFS输出目录 hadoop jar hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
hadoop-mapreduce-examples 官方demo源码
03-15
hadoop-mapreduce-examples 官方demo源码 hadoop-mapreduce-examples-2.7.7-sources
❤️❤️❤️关于Hadoop的初体验
DrKYQ的博客
03-31 1128
本文基于Hadoop关于大数据入门做出详细介绍，希望对大家有所帮助🩷
Hadoop完全分布式运行模式---集群测试(以及遇到的很多错误)
weixin_44976835的博客
03-24 837
将文件上传至HDFS hadoop fs -mkdir /wcinput将wcinput文件夹上传至HDFS 然后在wcinput文件夹内创建一个文件word.txt 将wcinput/word.txt上传至HDFS：hadoop fs -put wcinput/word.txt /wcinput 在hadoop102:9870页面查看： 可以看到wcinput文件夹： 进入wcinput文件夹： 文件已经上传成功： 可以进行查看和下载 HDFS数
Hadoop之hadoop-mapreduce-examples测试执行及报错处理
热门推荐
月生的静心苑
12-16 1万+
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。
hadoop实现单词统计
Bernice32880的博客
04-29 2258
工具：IDEA 在一切开始之前，我们先要确定我们的hadoop环境是否正常，hdfs文件系统是否正常。 如何验证呢？首先，把集群启动，正常显示界面： 进入文件系统： 此时需要创建一个文件夹用于存放一会会用到的文件，我这里取名为input 在hdfs系统创建文件夹有两个方法，其中一个是直接敲命令：hadoop fs -mkdir /input 第二个是在界面上创建： 不管用哪种方式，保证有这么一个文件夹就行了。 然后，创建一个txt文件，随便写几个单词进去，单词之间用空格分开（路径自己选，只要找得到就
第四章：hadoop 启动wordcount实例，包括hadoop自带jar包和eclipsejar包。hdfs常用命令
小爷欣欣
03-07 5104
1，首先介绍启动hadoop自带的wordcount的jar包实例1.1启动hadoophadoop安装目录下：./sbin/start-all.sh查看进程：jps1.2 ，进入到home目录下，创建一个文本，随便写点东西1.3 进入到hadoop安装目录下，模糊查找hadoop 案例jar包我们用hadoop-mapreduce-examples-3.0.0.jar1.4 ./bin/hado...
Hadoop各版本及源码下载地址,MapReduce源码下载地址,yarn源码下载地址及使用方法
Eli_Code
07-09 1878
1. Hadoop各版本及源码下载地址 http://archive.apache.org/dist/hadoop/core/ 2. MapReduce源码下载地址 和 yarn源码下载地址 先下载对应版本的Hadoop，解压后在目录中按照下图目录找到源码 3. 源代码大部分是jar包，需要解析 4. 将jar包放入到idea中，添加到Library中，就可以看到源码 ...
Hadoop－－MapReduce
Fangxingt的博客
05-07 259
一、配置Hadoop-Eclipse-Plugin安装好Hadoop-Eclipse-Plugin插件后的效果在Preferences中左侧选择Hadoop Map/Reduce选项，并选择好安装目录。切换到Map/Reduce开发视图，建立与Hadoop集群的连接。在 General 选项面板中，General 的设置要与 Hadoop 的配置一致。二、在Eclipse中操作HDFS文件 Map...
Hadoop开发环境搭建HDFS系统初体验
最新发布
11-15
搭建Hadoop开发环境并体验HDFS主要包括以下几个步骤： 1. **安装Java**：Hadoop运行在Java平台上，所以首先需要在你的机器上安装Java Development Kit (JDK)。 2. **下载Hadoop**：访问Apache Hadoop官网...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

教Linux的李老师

赞赏是第一生产力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值