大数据 集群测试部分

最新推荐文章于 2025-12-11 09:57:00 发布
原创 最新推荐文章于 2025-12-11 09:57:00 发布 · 331 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hadoop #hdfs

查看HDFS集群状态

在浏览器里访问http://master:9870
在这里插入图片描述
不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870

在这里插入图片描述
修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射
在这里插入图片描述
此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常
在这里插入图片描述
单击导航条上的【Datanodes】，查看数据节点信息

在这里插入图片描述
点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】
在这里插入图片描述
此时HDFS上什么东东都木有
在这里插入图片描述
在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建

执行命令：hdfs dfs -mkdir /BigData

在这里插入图片描述
在这里插入图片描述
查看四个功能按钮
在这里插入图片描述

查看YARN集群状态

访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常
在这里插入图片描述
在这里插入图片描述

Hadoop集群初体验 —— 词频统计

启动Hadoop集群

在master虚拟机上执行命令：start-all.sh
在这里插入图片描述

在虚拟机上准备文件

在master虚拟机上创建test.txt文件
在这里插入图片描述

文件上传到HDFS指定目录

上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）
在这里插入图片描述
利用HDFS命令查看文件是否上传成功
在这里插入图片描述
利用Hadoop WebUI查看文件是否上传成功
在这里插入图片描述

运行词频统计程序的jar包

查看Hadoop自带示例的jar包
在这里插入图片描述
执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result
查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result
在这里插入图片描述
查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*
在这里插入图片描述
再次运行程序，会报错：输出目录已存在

在这里插入图片描述

「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍
weixin_62909516的博客
07-09 2286
HDFS 是 Hadoop 的主要存储系统，为大数据提供可扩展的、高容错的、可靠的和具有成本效益的数据存储。Hadoop是一个庞大的家族，包含存储，计算等一系列产品组件，需要了解其中的一系列组件，包括HDFS，MapReduce，Yarn，Hive，HBase，ZooKeeper，Flume，Kafka，Sqoop，HUE，Phoenix，Impala，Pig，Oozie，Spark等，知道其干什么，维基百科定义。它的任务包括加载数据，应用所需的过滤器并以所需的格式转储数据。它是容错和可靠的机制。
使用阿里云搭建自用大数据集群（3台），含计费方式描述
AmazingPy的博客
08-21 2097
自学大数据相关课程，需要3台虚拟机，之前是使用本地克隆虚拟机的方式，但是现在用mac比较多，而且需要上班，无法一直坐在开着虚拟机的win前进行操作学习，所以考虑使用搭建对应的集群。
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战｜10 分钟跑通 ON CLUSTER
永远好奇 无限进步
09-14 4692
三节点（h121/122/123）为例，先完成集群连通性自检：system.clusters 校验 → ON CLUSTER 创建 ReplicatedMergeTree/Distributed → 分布式写读与迷你压测，确保复制与路由正常；随后用可复制示例梳理 ClickHouse 常用数据类型：Int/Float、Decimal（加减取大、乘取和、除取被除）、String/FixedString、UUID、Enum8/16、Array、Tuple、Date/Date32/DateTime64 及布尔替代
大数据平台集群
郭首志的博客
08-18 2589
基本组件：     Zookeeper：         分布式协作框架             节点数目：                 测试集群：3个                 生产集群：(7个差不多)                     小型集群：3个或者5个                     中型集群：5个或者7个                     ...
hadoop集群测试
lucklyming的专栏
07-10 199
        Hadoop集群安装好后，可以测试hadoop的基本功能。hadoop自带了一个jar包（hadoop-examples-0.20.205.0.jar，不同版本最后不同）中wordcount程序可以测试统计单词的个数，先来体验一下再说。   [hadoop@master ~]$ mkdir input  #先创建一个输入目录   [hadoop@master ~]$ cd...
大数据集群测试
明明历险记
09-13 1649
英特尔开发了HiTune性能分析器和HiBench基准测试套件, 用它们来降低 Apache Hadoop 性能调优的复杂性。 GitHub源代码： HiBench https://github.com/intel-hadoop/HiBench 性能分析工具HiTune
大数据之CDH数仓(18) | 测试之集群性能测试
Knight
10-13 1999
DFSIO测试 在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Reduce任务用来收集和汇总性能数字。可以通过这个基准测试对比吞吐量、IO速率的结果以及整个磁盘的原始速度，来确定你的集群是否得到了期待的性能。另外，可以通过这些测试中指标的严重偏差发现集群中一个或多个问题节点，结合监控系统一起使用能够更好的
精选资源
大数据平台测试
02-24
大数据平台测试包括2部分：基础能力测试和性能测试Ⅰ).基础能力测试大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持大数据平台是否能够通过界面的形式方便用户进行非运行...
精选资源
大数据测试类型&大数据测试步骤
02-24
在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。处理可以是三种类型：批量、实时、交互。与此同时，数据质量也是大数据测试的一个重要因素。...
大数据测试方法
热门推荐
test_soy的博客
11-03 4万+
一.功能性测试        大数据功能主要涉及系统实现面向大数据分析应用的POSIX API，包括文件读取与访问控制，元数据操作，锁操作等功能； 大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的API和功能点； 功能测试工作量大，应该重点考虑应用自动化测试方法进行，同时结合手动测试补充，自动化工具推荐ltp,fstest和locktest
从功能测试角度谈大数据测试
weixin_34273481的博客
12-13 1744
大数据，已经成为了一个时代的代名词，当今的互联网属于大数据时代，大数据时代的到来，颠覆了以往对数据的惯性思考方式，要保证数据执行，软件质量，测试质量，数据使用场景等，都需要重新变换一个新的角度，对软件进行更全方面的思考。 之前大数据很少有测试，开发会觉得：测试环境又没有那么多数据，你怎么测？抛开大数据的数据量大的特点，究其根本，他也是为业务服务的，有一句话我非常赞同： 一切技术都是为业务服务，脱离...
Hadoop----【基础知识、集群安装、常用Shell命令】
CoderBoom的博客
11-14 351
1. Hadoop基础 1.1 Hadoop介绍 ​ Hadoop是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义上 : Hadoop是处理大数据的软件平台 HDFS(分布式文件系统) : 解决海量数据存储 YARN(作业调度和集群资源管理的框架) : 解决资源任...
大数据运维---Hadoop HA集群的启动与测试
w_sunset的博客
12-15 1936
大数据运维---Hadoop HA集群的启动与测试，测试mapreduce
企业大数据平台的集群的大小与配置
hxtxgfzs的博客
09-23 1万+
基本组件： Zookeeper 分布式协作框架 HDFD存储海量数据 YARN集群资源管理 资源调度 MapReduce并行计算框架 分为： 测试集群 机器数量： 5台-10台 机器的配置：（大数据平台的瓶颈：内存）hBash权威指南  1、内存  不低于24G 32G以上  Zookeeper节点（2G） HDFS （NameNode  每100万个文件需要1G内存；企业级
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建三
别人笑我太疯癫，我笑他人看不穿。
11-19 980
本篇安装软件 Hive1.2 Zookeeper3.4 Kafka2.11-0.10 Hive 安装之前我要和新人说个事，这是我很早之前，那个时候工作的公司来了个实习生，有一次聊天，和我说了一句hive是个数据库。。。。。我当时笑笑没说什么，把话题引到其他的地方上去了 所以我想在这里和大数据新人说个事hive不是个数据库!!!!，它只是基于hadoop的一个提供sql化处理数据的工具而已，只是它和数据库长得很像而已，下边我们开始安装，但是我还是要强调一个小问题，就是hive是有集群的，但是我们一般不会去整因
从 “人工标注” 到 “AI 驱动”：数据分类分级技术的效率革命
KKKlucifer的博客
12-11 335
在数据安全与合规治理常态化的今天，数据分类分级已成为企业筑牢数据安全防线的 “第一道关口”。传统人工标注模式下，企业需投入大量人力梳理海量数据，不仅耗时耗力、成本高昂，还存在标注标准不统一、遗漏率高、难以适配动态业务场景等痛点。随着 AI 技术与数据治理的深度融合，正掀起一场效率革命，实现从 “人治” 到 “智治” 的跨越，为企业数据安全治理注入全新动能。
Java Stream 数据处理笔记：从嵌套集合中过滤特定类别的Map
DolphinHome的博客
12-09 429
扁平化嵌套结构：使用flatMap将转换为Stream<T>过滤条件放置：在收集前进行过滤，避免处理不必要的数据空值安全：多层空值检查防止NPE性能优化先过滤后映射大数据量使用并行流使用合适的Map实现（如用于并行流）冲突处理：指定合并函数处理键冲突通过以上方法，您可以高效地从复杂嵌套结构中提取并过滤特定类别的数据，构建所需的Map结构。这种模式在实际项目中非常常见，掌握这些技巧能显著提升代码质量和开发效率。
云原生时代时序数据平台构建实战：从Kubernetes部署Apache IoTDB集群到TimechoDB国产化应用全解析
wei_shuo的博客
12-09 1万+
云原生时代时序数据平台构建实战：从Kubernetes部署Apache IoTDB集群到TimechoDB国产化应用全解析
scala 介绍
最新发布
2501_94155965的博客
12-11 1047
Scala（Scalable Language，可扩展语言）是一门，由瑞士洛桑联邦理工学院（EPFL）的 Martin Odersky 于 2001 年设计，核心目标是融合和的优势，同时兼顾代码的简洁性、可扩展性和高性能，广泛应用于大数据、后端开发、分布式系统等领域。
大数据集群搭建
03-08
### 搭建大数据集群的方法和教程 #### 准备工作 为了确保环境稳定，在开始搭建之前，建议备份现有配置文件。对于Hadoop组件而言，可以通过移动目录来创建快照副本[^4]。 ```bash cd /etc mv hadoop/ hadoop_20231207_93910 mv sqoop/ sqoop_20231207_93934 mv zookeeper/ zookeeper_20231207_94034 mv hive hive_20231207_94151 mv spark2/ spark2_20231207_94224 ``` #### 安装并配置MySQL 在主机`hadoop102`上安装MySQL前，需先卸载任何可能存在的旧版本以防止冲突[^1]： ```bash sudo yum remove mysql mariadb* -y ``` 完成上述操作后可继续按照官方指南或其他可靠资源指导进行新版本MySQL的部署。 #### 配置YARN应用路径 编辑`core-site.xml`文件中的`<configuration>`部分，加入如下设置项用于指定应用程序类路径[^3]: ```xml <property> <name>yarn.application.classpath</name> <!-- 添加具体classpath --> </property> ``` #### Kafka Topic创建测试 当整个集群初步构建完成后，可以利用Kafka来进行简单的消息队列功能验证。通过执行以下命令创建名为`TestKafkaTopic1`的主题[^2]： ```bash bin/kafka-topics.sh --create --bootstrap-server localhost:9092 \ --replication-factor 1 --partitions 1 --topic TestKafkaTopic1 ``` #### 使用Docker管理节点 如果采用容器化方式运行各服务实例，则可通过Docker指令轻松访问特定的服务容器内部环境。例如要进入名为`node1`的容器终端会话，只需键入下列命令即可实现[^5]： ```bash docker exec -it node1 /bin/bash ``` 以上步骤涵盖了从准备阶段到最终验证过程的关键环节，提供了较为完整的解决方案框架供参考实施。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值