hadoop集群测试

最新推荐文章于 2025-06-08 20:38:13 发布
最新推荐文章于 2025-06-08 20:38:13 发布
阅读量127 收藏 3
点赞数 3
文章标签： hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_59403228/article/details/130611189
版权

我一共创建了3台虚拟机 hadoop102 hadoop103 hadoop104

集群配置如下：

 

一、

HDFS的NameNode的地址： http://hadoop102:9870

1.创建input文件夹：因为集群测试运行在hdfs上，本地运行在虚拟机本身，因此需要在hdfs上操作 

2.在windows创建文本文件wc 随意输入两个单词以便测试使用

3.将wc.txt上传到input中

 

 

4.YARN的ResourceManager的地址:http://hadoop103:8088

 

在确定网址可以打得开后开始集群测试:

运行MR任务wordcount 统计单词数量 

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

边运行边通过http://hadoop103:8088查看运行情况progress为运行进度，Final为success即运行成功

   通过NameNode查看完成情况：生成了output和tmp文件

output文件保存输出文件:点击进入后part-r-00000即为输出文件

点击后可下载或显示32k的头文件都可（我这里选择head the file 输出 renge 2）

 

大数据讲课笔记3.4 Hadoop集群测试
howard2005的专栏
10-05 1743
1. 掌握通过UI界面查看Hadoop集群运行状态； 2. 熟悉Hadoop集群初体验的操作——词频统计
Hadoop集群测试
qq_65274143的博客
11-10 2314
Hadoop集群测试
大数据-Hadoop集群测试
m0_62492032的博客
12-07 2466
在浏览器里访问http://master:9870 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.218.189:9870 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射 此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常 单击导航条上的【Datanodes】，查
Hadoop集群基本测试
weixin_63257947的博客
03-15 1542
1.各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2.各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN。
hadoop群起集群并测试
m0_63648117的博客
02-27 1827
hadoop集群启动
Hadoop集群搭建
热门推荐
lydms的博客
02-09 2万+
Hadoop官方网站：http://hadoop.apache.org/Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
07-08 4049
Hadoop系统应用实验之Hadoop集群测试及初体验，初体验实验为词频统计，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
hadoop群起集群并测试_hadoop集群如何测试
2401_85599222的博客
06-24 599
wodcount是计算指令，该命令的意思是统计wcinput文件中的词频并将结果存到 wcouput中。把本地文件word.txt传到创建的文件夹中。检查是否在安全模式 ： hdfs dfsadmin -safemode get。离开安全模式 ： hdfs dfsadmin -safemode leave。Web端查看HDFS的NameNode。（b）查看YARN上运行的Job信息。​​​​可在web页面中查看。（b）查看HDFS上存储的数据信息。
hadoop集群测试 Wordcount报错
qq_42282789的博客
02-24 1390
在使用wordcount时，突然报错： Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contains the below configuration: <property> <name>yarn.app.mapreduce.am.env<
Hadoop集群测试使用
2401_87076397的博客
05-12 873
通过以上测试步骤，你可以全面验证 Hadoop 集群的各个组件是否正常工作，包括 HDFS、MapReduce 和 YARN。如果在测试过程中遇到问题，可以通过查看日志文件（如。上传大量数据到 HDFS，并运行一个大规模的 MapReduce 任务（如处理 GB 级别的数据）。重复上述 WordCount 示例，确保在 NameNode 切换后，集群仍能正常运行任务。Hadoop 自带了一些示例程序，可以用来测试集群的 MapReduce 功能。在集群中添加新的节点，并将其配置文件同步到集群中。
Hadoop集群测试报告.pdf
01-18
### Hadoop集群测试报告知识点详解 #### 一、集群设置 **1. 服务器配置** - **CPU**: 每台服务器配置了24个核心，这意味着每台服务器具有较高的并行处理能力，适合进行大规模的数据处理任务。 - **内存**: 128GB...
Hadoop集群测试报告
08-20
Hadoop集群测试报告
大数据（2） 大数据处理架构Hadoop
Theodore_1022的博客
06-07 1030
本篇介绍了大数据处理架构——hadoop， Hadoop 是一个开源的分布式计算框架，由 Apache 基金会开发，用于处理海量数据，具备高可靠性、高扩展性和高容错性。
CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践
Gx_2647664843的博客
06-04 745
在大数据时代，Hadoop 和 Spark 是两种非常重要的分布式计算框架。本文将详细介绍如何在 CentOS7 + JDK8 的虚拟机环境中搭建 Hadoop + Spark 分布式集群，包括 Spark Standalone 和 Hadoop + Spark on YARN 两种模式，并提供具体的代码示例。
界面组件DevExpress WPF中文教程：Grid - 如何识别行和卡片？
需要界面开发、IDE工具研发中文教程资料的小伙伴，记得私信我~
06-04 1069
本文主要介绍如何使用DevExpress WPF Grid控件中如何识别行和卡片。欢迎下载最新版组件体验！
Kafka 单机部署启动教程（适用于 Spark + Hadoop 环境）
微信公众号: 后端码匠
06-04 559
Kafka单机部署简明指南 本文介绍了Kafka 2.13-2.8.1版本的完整单机部署流程，适用于Spark+Hadoop环境。主要内容包括：下载解压Kafka包、配置环境变量、修改关键配置文件（broker ID、日志目录、监听地址等）、启动Zookeeper和Kafka服务（分别使用2181和9092端口）、创建Topic测试、进行生产消费验证，以及服务停止和防火墙设置。部署完成后，可通过简单的命令测试消息收发功能。该教程为大数据环境下使用Kafka提供了完整的单机部署解决方案，同时推荐后续可部署Ka
图片上传问题解决方案与实践
m0_67325488的博客
06-04 509
实际部署时建议配合 Nginx 等反向代理服务器处理静态资源请求，提升系统性能与安全性。
RabbitMQ work模型
最新发布
2301_77574331的博客
06-08 128
当一个消息队列绑定了多个消费者，每个消息消费的个数都是平摊的，一人一个消息，不会考虑哪个消费者能力强弱。这样会造成消息堆积。如何解决：修改yml文件，修改preFetch参数，控制消费者预取的消息数量，处理完再处理下一条，能者多劳。Work 模型是 RabbitMQ 最基础的消息处理模式，核心思想是 ​。​，适用于任务分发和负载均衡场景。
制造业数字化转型解决方案及应用
2501_91692628的博客
06-04 1052
详细资料见文章最后微信名片
ambari部署hadoop集群测试
12-31
### 使用Ambari部署和测试Hadoop集群 #### 安装Ambari服务器和服务端组件 为了使用Ambari来部署Hadoop集群，首先需要准备环境并安装必要的服务。这包括设置好操作系统、网络配置以及数据库支持。 对于Linux系统而言，可以通过命令行工具`yum`快速完成Ambari Server的安装： ```bash sudo yum -y install ambari-server ``` 接着初始化Ambari Server，并指定JDBC驱动程序的位置以便连接到外部关系型数据库（如MySQL）。这里假设已经下载好了相应的MySQL Connector/J包[^3]: ```bash sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar ``` 创建用于存储Ambari元数据信息的MySQL数据库及其权限授予操作如下所示: ```sql mysql> create database ambari; mysql> use ambari; mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%'; mysql> FLUSH PRIVILEGES; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; ``` 启动Ambari Server之后就可以通过Web界面访问它了，默认地址为http://<server-ip>:8080，在浏览器中打开此URL即可进入下一步骤。 #### 配置节点与选择组件 登录至Ambari Web UI后，按照向导提示输入集群名称和其他基本信息；随后定义各个主机角色分配情况——即哪些机器作为NameNode, DataNode等不同类型的节点参与进来形成分布式文件系统的架构体系结构。此时还需要挑选想要安装的服务列表，比如YARN、MapReduce2、HDFS等等属于核心层的部分，也可以加入更多高级特性像Hive、Pig、Spark等扩展应用[^1]。 #### 执行安装过程 确认无误提交表单以后，Ambari会自动执行一系列脚本来完成实际物理机上的软件分发工作直至最终成功构建起完整的Hadoop生态系统实例。期间可能会遇到一些依赖项缺失等问题，则需参照官方文档或社区资源解决相应报错现象[^2]。 #### 测试验证功能正常与否 当所有任务都顺利完成之后便可以着手检验新建立起来的数据处理平台能否正常使用啦！一种简单的方式是在HDFS上上传本地文件再尝试读取查看其内容是否一致；另外还可以编写一段简单的WordCount MapReduce作业代码来进行更深入的功能检测： ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w.toLowerCase()); context.write(word, one); } } } public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(SumReducer.class); job.setReducerClass(SumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 编译上述Java源码生成可执行jar包后传送到任意一台已知存活状态良好的DataNode上面去运行该应用程序，观察输出结果判断集群健康状况良好程度。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北方569

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值