十. 大数据技术之hadoop（6）

最新推荐文章于 2025-05-12 16:25:28 发布
原创 最新推荐文章于 2025-05-12 16:25:28 发布 · 267 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在资源调度平台YARN上部署并运行MapReduce程序进行词频统计。具体步骤包括创建测试文件、上传至HDFS、使用WordCount程序及查看执行结果。

资源调度平台yarn，主从结构，主节点ResourceManager，从节点NodeManager

在home目录下创建一个文件data.txt, 里面随便编辑一些用于测试的语句，然后将文件上传到HDFS上的/input目录下

接下来进入share/hadoop/mapreduce目录，其中有一个叫hadoop-mapreduce-example*****的jar包，里面包含了用java编写的mapreduce程序，我们可以利用jar包中的wordcount用于词频统计，hadoop jar是指将一个mapreduce任务提交到yarn平台上，/input/data.txt 表明输入路径， /output/result01表明输出路径（输出路径不能事先存在，存在的话会报错） 

执行命令，看到执行第一句日志信息18/03/03 12:25:00 INFO client.RMProxy: Connecting to ResourceManager at /192.168.145.111:8032， 说明此时任务已经提交到了yarn平台上，其实后台有一个yarn网页版的工具，打开本地的浏览器s输入linux的IP地址：8088可以查看yarn平台上的任务执行情况，上面查看执行过程可以明显看出是按照map和reduce两部分来执行任务

然后查看hdfs上的/output/result01目录下，看到有两个文件，_SUCCESS文件表明的是任务执行的状态，part-r-00000是任务执行的结果，查看文件内容可以看到正确完成了词频的统计

大数据技术之Hadoop
weixin_52112640的博客
05-22 5265
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 第一章 大数据概述 1.大数据概念 大数据(Big Data) :指无去在一定时间范围内用常规软件工具进行捕捉、管理和处理的数居集合，是需要新处理模式才能具有更强的央策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储....
大数据技术之Hadoop介绍
小强的博客
12-03 6385
1.大数据概述 大数据是指无法利用传统计算技术进行处理的大规模数据集合。大数据概念不再只是数据，大数据已经成为一个全面的主题概念，包含各类工具、技术以及框架。 大数据包括各类信息设备以及应用程序所产生的数据。大数据所涵盖的一些数据领域如下： 黑盒子数据：是指直升机、普通飞机及喷气式飞机等的组成部分。该数据采集了飞行机组人员的声音、麦克风和耳机的录音以及飞机的性能信息。 社...
大数据技术之Hadoop（HDFS）
西敏寺的乐章的博客
07-22 3671
文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易；文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可；比如windows操作系统数据：指存储的内容本身，比如文件、视频、图片等元数据：又称之为解释性数据，记录数据的数据；一般指文件大小、最后修改时间、底层存储位置、属性、所属用户、权限等信息。Hadoop分布式文件系统。
大数据技术之Hadoop（YARN）
西敏寺的乐章的博客
08-05 2131
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器。YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
大数据技术之Hadoop（一）
m0_58017289的博客
05-12 2035
Hadoop 是一个开源的 分布式计算框架，用于高效存储和处理 海量数据（TB/PB级）。它最初由 Apache 开发，灵感来自 Google 的 MapReduce 和 Google File System (GFS) 论文，旨在解决传统数据库无法处理的大规模数据问题。
大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式
热门推荐
huxili2020的博客
06-14 15万+
文章目录1 Hadoop 概述1.1 Hadoop 是什么1.2 Hadoop 优势1.3 Hadoop 组成1.3.1 HDFS 架构概述2 组管理和权限管理2.1 组管理2.2 权限管理3 任务调度 1 Hadoop 概述 1.1 Hadoop 是什么 （1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 （2）主要解决海量数据的存储和海量数据的分析计算问题 （3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 1.2 Hadoop 优势 （1）高可靠性：H.
大数据开发之Hadoop
2301_79349971的博客
08-08 1733
hadoop介绍hdfs
大数据技术-Hadoop（一）Hadoop集群的安装与配置
weixin_39555954的博客
12-25 1648
Hadoop集群的安装
大数据技术之Hadoop集群配置
&volume的博客
03-05 2232
作者简介：大家好我是小唐同学(๑>؂
大数据技术之Hadoop-大数据分布式
qq_33934592的博客
03-01 726
狭义上：大数据是一类技术栈，是一种用来处理海量数据的软件技术体系。广义上：大数据是数字化时代、信息化时代的基础（技术）支撑，以数据为生活赋能。
尚硅谷大数据技术之Hadoop（入门）1
08-04
- **多样**：图2-4展示了数据类型的多样性，处理多种类型数据的能力是大数据技术的关键挑战之一。 - **低价值密度**：图2-5表示大数据中的大部分数据可能没有立即的价值，需要通过深度分析才能揭示隐藏的洞察。 ...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
大数据技术之Hadoop(入门).docx
03-02
### 大数据技术之Hadoop（入门）知识点详解 #### 第1章 大数据概论 ##### 1.1 大数据概念 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。这些数据具有体量巨大、来源多样化、格式...
乐播投屏v5.5.76
最新发布
09-06
乐播投屏是一款简单好用、功能强大的专业投屏软件，支持手机投屏电视、手机投电脑、电脑投电视等多种投屏方式。 多端兼容与跨网投屏：支持手机、平板、电脑等多种设备之间的自由组合投屏，且无需连接 WiFi，通过跨屏技术打破网络限制，扫一扫即可投屏。 广泛的应用支持：支持 10000+APP 投屏，包括综合视频、网盘与浏览器、美韩剧、斗鱼、虎牙等直播平台，还能将央视、湖南卫视等各大卫视的直播内容一键投屏。 高清流畅投屏体验：腾讯独家智能音画调校技术，支持 4K 高清画质、240Hz 超高帧率，低延迟不卡顿，能为用户提供更高清、流畅的视觉享受。 会议办公功能强大：拥有全球唯一的 “超级投屏空间”，扫码即投，无需安装。支持多人共享投屏、远程协作批注，PPT、Excel、视频等文件都能流畅展示，还具备企业级安全加密，保障会议资料不泄露。 多人互动功能：支持多人投屏，邀请好友加入投屏互动，远程也可加入。同时具备一屏多显、语音互动功能，支持多人连麦，实时语音交流。 文件支持全面：支持 PPT、PDF、Word、Excel 等办公文件，以及视频、图片等多种类型文件的投屏，还支持网盘直投，无需下载和转格式。 特色功能丰富：投屏时可同步录制投屏画面，部分版本还支持通过触控屏或电视端外接鼠标反控电脑，以及在投屏过程中用画笔实时标注等功能。
spring-ai-alibaba-starter-tool-calling-openalex-1.0.0.3.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
【微信小程序源码】阅享小程序（阅读评价类）.zip
09-06
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。 2：一套精品实用微信小程序源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！ 更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041
google-cloud-monitoring-3.68.0.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
batik-css-1.17.jar中文-英文对照文档.zip
09-06
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
大数据技术之Hadoop应用详解
"大数据和Hadoop" 大数据是指无法在tolerable时间内通过传统数据库管理工具或传统数据处理应用程序处理的巨型数据集合。这些数据集的规模和复杂度非常高，以至于无法使用传统的数据处理方法来处理它们。根据Gartner...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值