teragen/terasort_简化版

最新推荐文章于 2024-11-14 08:59:08 发布
最新推荐文章于 2024-11-14 08:59:08 发布
阅读量265 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/zy1234567/p/9794510.html
本文详细介绍了使用Hadoop进行大数据处理的步骤，包括关闭安全模式、生成和排序大规模数据集，以及验证排序结果的完整性。通过teragen生成1000万条数据，使用terasort进行高效排序，并最终通过teravalidate确保排序结果正确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

1， 关闭Hadoop安全模式

进入hdfs用户 su – hdfs

Cd /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/bin

hdfs dfsadmin -safemode leave

2,  执行teragen生成数据

       ./hadoop jar ../lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar teragen  10000000 /opt/test/

3,  查看是否生成数据

./Hadoop fs –ls /opt/test/

4,  使用terasort排序

       ./hadoop jar ../lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar terasort /opt/test/  /opt/1T-output

5， 查看是否完成排序

       ./hadoop fs -ls /opt/1T-output

6，  使用TeraValidate 对Terasort的结果进行验证

       ./hadoop jar ../lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar teravalidate /opt/1T-output /opt/1T-validate

 

 

转载于:https://www.cnblogs.com/zy1234567/p/9794510.html

HDFS benchmark 基准测试
sparkjvm的专栏
01-09 1万+
HDFS benchmark 基准测试
Hadoop实践（四）---Hadoop集群测试（MR样例）
狮锅艺
03-18 3515
Hadoop 自带示例程序详解
hadoop-teragen库的使用
2403_88719012的博客
11-14 1017
hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar（使用的jar包的路径） teragen 10000000 （使用代码） /teragen/data（存放结果的hdfs路径）创建hdfs路径(注意不要创建teragen库的指定存放路径否则会报错)（前置安装hadoop jdk并完成安装配置部署）查询结果(随机生成的数，这样的数据没有问题)检查路径是否成功创建。
Hadoop平台上的海量数据排序
华章IT官方博客
10-21 292
Yahoo!研究人员使用Hadoop完成了Jim Gray基准排序，此排序包含许多相关的基准，每个基准都有自己的规则。所有的排序基准都是通过测量不同记录的排序时间来制定的，每个记录为100字节，其中前面的10字节是键，剩余的部分是数值。MinuteSort是比较在一分钟内所排序的数据量大小，GraySort是比较在对大规模数据（至少100TB）进行排序时的排序速率（TBs/minute）。基准规则...
工欲善其事必先利其器——第二弹 HDFS性能压测工具浅析
langtaosha的专栏
11-29 1845
引言 Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别，普通磁盘上的文件系统，例如ext3有数据块（block），HDFS也有这个概念，ext3
Spark集群性能测试：重写Terasort基准
TeraGen生成的数据可以重复使用，这意味着在对生成的数据集感到满意后，可以在后续的TeraSort运行中跳过数据生成步骤。这一设计可以节省大量时间，特别是对于需要多次执行排序操作以进行性能优化和比较的情况。 8....
【大数据】手把手教CDH
wnm23的专栏
04-04 919
使用 LXC 的优点就是不需要安装太多的软件包，使用过程也不会占用太多的资源，LXC 是在 Linux 平台上基于容器的虚拟化技术的未来标准，最初的 LXC 技术是由 IBM 研发的，目前已经进入 Linux 内核主线，这意味着 LXC 技术将是目前最有竞争力的轻量级虚拟容器技术。增加的节点功能可以分为边缘节点，计算节点，主节点等，同样功能的节点也会因为服务器配置不同而需要采用不同的配置，例如不同大小的内存，硬盘等。1. Object，实体，常见的例如，server，database，table，URL。
上银CoE驱动器脚本编写基础：自动化任务的简化之道
[上银CoE驱动器脚本编写基础：自动化任务的简化之道](https://i0.hdslb.com/bfs/note/2938742f5b24d0f6c144dd2aaeb5c081cbb9f642.jpg@1192w) # 摘要 本文综述了上银CoE驱动器的基本概念、安装流程以及驱动器脚本...
大数据测试
qq_37356854的博客
02-24 1833
一、绪论： 大数据是大容量、高速率、多形态的信息资产，且需要成本效益、信息处理来增加洞察力和决策创新形式。大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。 大数据分析框架测试、算法质量测试、性能测试、大数据安全和隐私软件测试的经典定义：为发现软件错误，而运行软件的活动。 基本思路：根据软件需求规格说明书，执行软件操作和输入数据，依据软件实际输出结果和预期输出结果来评判软件...
面向大数据框架的测评
qq_37356854的博客
02-25 686
以hadoop为代表的各种大数据框架不断涌现，这些数据处理框架方便了大数据应用的编写，但是由于数据来源的多样性、数据形式的多元化，使得数据质量存在较大的差异，不正确或者不一致的数据可能严重影响分析效果。 1.概述 大数据处理流程一般如下：使用相关工具对分布广泛的非结构化的数据源进行抽取和集成，采用合适的标准对结果进行统一存储，利用数据分析的相关技术分析存储的数据，从所存储的数据中选择有用的内容...
Spark 与 Hadoop 关于 TeraGen/TeraSort 的对比实验(包含源代码)
samhacker的专栏
01-03 8217
自从 Hadoop 问世以来，MapReduce 在很长时间内都是排序基准测试的纪录保持者，但这一垄断在最近被基于内存计算的 Spark 打破了。在今年Databricks与AWS一起完成的一个Daytona Gray类别的Sort Benchmark中，Spark 完胜 Hadoop MapReduce：“1/10计算资源，1/3耗时”。这是个很有意思的对比实验，因此笔者也在一个小规模集群上做了一个微缩版的类似试验。
Hadoop测试TeraSort
qiezikuaichuan的专栏
10-09 1598
http://www.opstool.com/article/249 使用teragen产生数据 使用Teragen来产生数据，示例如下： hadoop jar hadoop-*-examples.jar teragen 参数1 参数2 teragen的参数解释： 参数1：表示要产生的数据的行数。Teragen每行数据的大小是100B。 要产生1T的数据，需要的
CDH6.0.1环境Hadoop集群性能测试
L, there!
07-31 5024
本次主要是对新集群的性能测试，测试环境： 系统 环境 台数 CPU 内存 硬盘 Centos7.3 CDH6.0.1 3台 32 64G 16T Hadoop自带的测试工具：Hadoop基准测试 首先，对服务器做一下测试，主要是磁盘I/O和网络I/O。 磁盘I/O 读测试 hdparm用于查看硬盘的相关信息或对硬...
测试眼里的Hadoop系列 之Terasort
热门推荐
leafy1980的专栏
07-26 1万+
TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar
Hadoop-MapReduce-TeraSort-大数据排序例子
train的专栏
07-24 9084
1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个1406
使用teragen产生数据
【那些年、那些事......的博客
10-29 1017
使用Teragen产生数据，使用 jar 包路径如下： /your hadoop path/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar $ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar teragen 参数1 参数2 Teragen 参数...
Hadoop中TeraSort算法分析
npucloud的专栏
05-18 1195
<br /><br />1、概述<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名 ，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。<br />2、算法思想<br />实际上，当我们要把传统的串行排序算法设计成并行的排序算法时，通常会想到分而治之的策略，即：把要排序的数据划成M个数据块（可以用Hash的方 法做到），
CDH集群安装&测试总结
weixin_33843409的博客
10-07 566
0.绪论 之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的： 当我搭建的过程中，发现这些东西是这样的： 对于初学者来说，我认为缺点如下： 1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会...
大数据之CDH数仓(18) | 测试之集群性能测试
Knight
10-13 1871
DFSIO测试 在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Reduce任务用来收集和汇总性能数字。可以通过这个基准测试对比吞吐量、IO速率的结果以及整个磁盘的原始速度，来确定你的集群是否得到了期待的性能。另外，可以通过这些测试中指标的严重偏差发现集群中一个或多个问题节点，结合监控系统一起使用能够更好的
一、存储 PB 级环境监测数据的性能优化方案 技术工具：Hadoop 3.x 功能：分布式存储与资源管理 1.数据存储架构优化 为高效存储 PB 级环境监测数据，在原有 Hadoop 集群架构基础上，采用分层存储策略。将高频访问的实时监测数据和近期预测数据存储于 HDFS 的高速存储层，选用 SSD 硬盘作为存储介质，利用其快速读写特性，满足实时监测与短期预测对数据读取速度的严格要求。对于历史监测数据等低频访问数据，则迁移至 HDFS 的大容量存储层，使用 HDD 硬盘降低存储成本。同时，通过Hadoop的异构存储管理功能，实现不同存储层之间的数据自动分层与迁移，在保证性能的前提下，优化存储资源利用率。 （1）异构存储配置实现 Hadoop 3.x 支持异构存储策略，通过配Storage Policy可自动管理数据分层。在hdfs-site.xml中添加以下配置： <property> <name>dfs.storage.policy.enabled</name> <value>true</value> </property> <property> <name>dfs.storage.policy.names</name> <value>LAZY_PERSIST, ALL_SSD, ONE_SSD, HOT, WARM, COLD, ALL_DISK</value> </property> 创建存储策略映射表，将不同类型数据分配到对应存储层： # 为实时数据设置SSD存储策略 hdfs storagepolicies -setStoragePolicy -path /air_quality/real_time -policy ALL_SSD # 为历史数据设置HDD存储策略 hdfs storagepolicies -setStoragePolicy -path /air_quality/historical -policy COLD （2）自动分层迁移脚本 编写定期执行的数据分层迁移脚本，将超过 30 天的历史数据自动迁移至冷存储层： #!/usr/bin/env python3 import subprocess import datetime import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(message)s') def migrate_old_data(days_threshold=30): cutoff_date = (datetime.datetime.now() - datetime.timedelta(days=days_threshold)).strftime('%Y-%m-%d') # 获取所有超过阈值的文件 cmd = f"hdfs dfs -find /air_quality/data -type f -mtime +{days_threshold}" files = subprocess.check_output(cmd, shell=True).decode().strip().split('\n') for file in files: # 检查文件当前存储策略 policy = subprocess.check_output(f"hdfs storagepolicies -getStoragePolicy -path {file}", shell=True).decode().strip() # 如果不是冷存储策略，则迁移 if "COLD" not in policy: logging.info(f"Migrating {file} to COLD storage") subprocess.run(f"hdfs storagepolicies -setStoragePolicy -path {file} -policy COLD", shell=True) if __name__ == "__main__": migrate_old_data() 2.数据压缩与编码 在数据写入 HDFS 前，应用高效的数据压缩算法与编码技术。针对空气质量监测数据的特点，采用 Snappy 压缩算法，该算法在提供较高压缩比的同时，具备极快的压缩和解压缩速度，能够显著减少数据存储空间，降低数据传输过程中的网络带宽消耗。此外，对数值型的污染物浓度等数据，运用列式存储与 Run - Length Encoding（行程长度编码）相结合的方式，进一步提升数据压缩效果，加速数据分析与查询操作，为 PB 级数据的高效处理提供支持。 （1）压缩算法配置 在 Hadoop 集群中配置 Snappy 压缩算法，修改mapred-site.xml： <property> <name>mapreduce.map.output.compress</name> <value>true</value> </property> <property> <name>mapreduce.map.output.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> <property> <name>mapreduce.output.fileoutputformat.compress</name> <value>true</value> </property> <property> <name>mapreduce.output.fileoutputformat.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> （2）列式存储与编码实现 使用 Parquet 列式存储格式处理数值型监测数据，配置示例： from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("AirQualityDataProcessing") \ .getOrCreate() # 读取原始数据 df = spark.read.csv("/air_quality/raw_data/*.csv", header=True) # 应用RLE编码并存储为Parquet格式 df.write \ .option("compression", "snappy") \ .option("parquet.enable.dictionary", "true") \ .option("parquet.page.size", 1048576) \ .parquet("/air_quality/processed_data") 3.集群扩展与负载均衡 随着环境监测数据量的持续增长，制定动态集群扩展策略。当集群存储利用率达到预设阈值（如 80%）时，自动添加新的 DataNode 节点。通过 Hadoop 的自动发现机制，新节点能够快速加入集群，并自动同步元数据与数据块，实现无缝扩展。同时，优化 YARN 资源管理器的负载均衡算法，根据各节点的 CPU、内存、磁盘 I/O 等资源使用情况，动态分配任务，避免部分节点负载过高而影响整体性能，确保集群在处理 PB 级数据时始终保持高效稳定运行。 （1）动态扩缩容脚本 实现基于存储利用率的自动扩缩容机制： #!/usr/bin/env python3 import subprocess import json import logging import requests logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(message)s') # 阈值配置 STORAGE_THRESHOLD = 0.8 # 80%使用率触发扩容 INSTANCE_TEMPLATE = "hadoop-datanode-template" MAX_NODES = 50 def get_cluster_usage(): # 获取HDFS集群使用情况 cmd = "hdfs dfsadmin -report" output = subprocess.check_output(cmd, shell=True).decode() # 解析输出获取使用百分比 for line in output.split('\n'): if "DFS Used%" in line: usage = float(line.split(':')[1].strip().replace('%', '')) / 100 return usage return 0.0 def scale_cluster(): usage = get_cluster_usage() logging.info(f"Current cluster usage: {usage:.2%}") # 获取当前节点数 cmd = "hdfs dfsadmin -report | grep 'Live datanodes' | awk '{print $3}'" current_nodes = int(subprocess.check_output(cmd, shell=True).decode().strip()) if usage > STORAGE_THRESHOLD and current_nodes < MAX_NODES: # 计算需要添加的节点数 nodes_to_add = min(5, MAX_NODES - current_nodes) logging.info(f"Adding {nodes_to_add} new datanodes...") # 使用GCP Compute Engine API添加节点 cmd = f"gcloud compute instance-groups managed resize hadoop-datanodes --size={current_nodes + nodes_to_add}" subprocess.run(cmd, shell=True) # 等待节点加入集群 logging.info("Waiting for new nodes to join the cluster...") # 实际应用中应添加等待节点就绪的逻辑 if __name__ == "__main__": scale_cluster() （2）资源调度优化配置 在yarn-site.xml中优化资源调度配置： <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property> <property> <name>yarn.scheduler.capacity.root.queues</name> <value>air_quality, batch, default</value> </property> <property> <name>yarn.scheduler.capacity.root.air_quality.capacity</name> <value>60</value> </property> <property> <name>yarn.scheduler.capacity.root.air_quality.maximum-capacity</name> <value>80</value> </property> <property> <name>yarn.scheduler.capacity.resource-calculator</name> <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value> </property> 三、方案实施效果评估与总结 1.性能评估 通过模拟 PB 级环境监测数据的写入、存储和查询操作，对存储方案的性能进行全面评估。在数据写入方面，测试不同数据规模下的写入速度与吞吐量，验证数据压缩和集群扩展策略对写入性能的提升效果；在数据查询环节，针对常见的空气质量指标查询、历史数据统计分析等场景，测量查询响应时间，评估数据编码和负载均衡优化对查询性能的影响。将评估结果与预设的性能指标进行对比，分析方案在处理 PB 级数据时的优势与不足，为后续优化提供依据。 （1）基准测试脚本 使用 Terasort 基准测试评估 HDFS 性能： #!/bin/bash # 配置测试参数 SIZE=10000000000 # 10GB数据 NUM_MAPS=20 NUM_REDS=5 INPUT_DIR=/benchmarks/terasort/input OUTPUT_DIR=/benchmarks/terasort/output RESULT_FILE=~/terasort_results.txt # 生成测试数据 echo "Generating test data..." hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen -Dmapred.map.tasks=$NUM_MAPS $SIZE $INPUT_DIR # 执行排序测试 echo "Running terasort benchmark..." START_TIME=$(date +%s) hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort -Dmapred.map.tasks=$NUM_MAPS -Dmapred.reduce.tasks=$NUM_REDS $INPUT_DIR $OUTPUT_DIR END_TIME=$(date +%s) # 计算并保存结果 ELAPSED_TIME=$((END_TIME - START_TIME)) echo "Terasort completed in $ELAPSED_TIME seconds" > $RESULT_FILE # 验证结果 echo "Validating results..." hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teravalidate $OUTPUT_DIR $OUTPUT_DIR/validate # 清理测试数据 echo "Cleaning up..." hdfs dfs -rm -r -f $INPUT_DIR $OUTPUT_DIR （2）性能监控配置 配置 Ganglia 监控 Hadoop 集群性能： # gmetad.conf配置 data_source "hadoop_cluster" namenode1:8651 datanode1:8651 datanode2:8651 # gmond.conf配置示例 cluster { name = "hadoop_cluster" owner = "AirQualitySystem" latlong = "unknown" url = "unknown"} udp_send_channel { host = namenode1 port = 8649 ttl = 1} udp_recv_channel { port = 8649} tcp_accept_channel { port = 8651 } 2.总结 性能优化成果：通过实施上述优化方案，系统性能提升显著 存储效率：通过分层存储和压缩技术，存储成本降低 40%，存储容量利用率提升至 85% 处理速度：实时数据查询响应时间从平均 2.5 秒降至 0.8 秒，提升 68% 扩展性：动态扩缩容机制使集群可在 15 分钟内完成 5 节点扩展，满足突发数据增长需求 生成关于以上内容的代码运行截图。
最新发布
06-12
<think>我们无法直接生成运行截图，但可以提供生成截图的步骤和伪代码/脚本示例。用户需要在实际环境中运行这些脚本并自行截图。根据用户需求，涉及以下方面：1.Hadoop3.x集群配置2.数据分层存储3.压缩算法4.列式存储（例如ORC/Parquet）5.动态扩缩容6.性能评估（如Terasort基准测试）下面分别给出各部分的脚本示例及如何获取运行结果截图：1.Hadoop3.x集群配置-修改配置文件：core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml-截图：配置文件内容，以及通过WebUI（如NameNodeUI:http://<namenode>:9870）查看集群状态的截图。2.数据分层存储（HDFS存储策略）-设置存储策略（Hot,Warm,Cold,All_SSD,One_SSD,Lazy_Persist等）-示例命令：```bash#创建不同存储策略的目录hdfsdfs-mkdir/hothdfsdfs-setStoragePolicy-path/hot-policyHOThdfsdfs-mkdir/coldhdfsdfs-setStoragePolicy-path/cold-policyCOLD#将文件移动到不同存储策略的目录hdfsdfs-mv/data/file1/hot/hdfsdfs-mv/data/file2/cold/#查看存储策略hdfsstoragepolicies-listPolicieshdfsstoragepolicies-getStoragePolicy-path/hot```-截图：命令运行结果，HDFS目录结构，以及通过`hdfsdfs-du-h`查看文件大小和存储情况。3.压缩算法-在Hive中创建表时指定压缩-示例：```sqlSEThive.exec.compress.output=true;SETmapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;CREATETABLEcompressed_table(...)STOREDASORC;```-截图：Hive命令运行结果，HDFS上文件大小对比（压缩前后）。4.列式存储（ORC/Parquet）-在Hive中使用ORC格式并设置压缩：```sqlCREATETABLEorc_table(...)STOREDASORCtblproperties("orc.compress"="SNAPPY");```-截图：Hive建表语句和查询结果，以及HDFS上文件的大小。5.动态扩缩容-添加/移除节点：-在`workers`文件中添加新节点主机名，然后运行：```bashhdfsdfsadmin-refreshNodesyarnrmadmin-refreshNodes```-如果要退役节点，需要先在`excludes`文件中添加主机名，再运行上述命令。-截图：使用`hdfsdfsadmin-report`和`yarnnode-list`查看节点状态的输出。6.性能评估（Terasort基准测试）-步骤：```bash#生成测试数据hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jarteragen10000000/tera/input#排序hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jarterasort/tera/input/tera/output#验证排序结果hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jarteravalidate/tera/output/tera/validate```-截图：Terasort作业的启动命令和运行完成后的JobTracker界面（包括执行时间等）。注意：以上脚本需要根据实际环境调整路径和参数。由于无法生成截图，用户需要自行在集群上运行这些命令和操作，并通过命令行输出或Web界面进行截图。同时，建议在每次优化前后都进行性能测试（如Terasort的执行时间、磁盘空间占用等），并对比截图，以展示优化效果。另外，对于环境监测数据的特定场景，可能需要结合时间序列数据的存储优化，例如使用ApacheParquet格式，并利用其列式存储和谓词下推等特性。也可以考虑使用其他存储系统如HBase（适合随机读写）或Kudu（同时支持随机读写和批量分析）来优化。最后，性能评估应该包括：-存储空间节省（压缩前后对比）-查询性能（相同SQL查询在不同存储格式和压缩算法下的执行时间）-扩缩容效率（扩缩容前后集群处理能力的变化）用户可以根据这些指导生成截图并整理成优化方案报告。§§相关问题§§1.如何验证Hadoop集群扩容后的性能提升效果？2.环境监测数据在HDFS中采用分层存储时，如何设计存储策略？3.在Hive中使用ORC格式时，如何选择合适的压缩算法？</think> ### Hadoop 3.x PB级环境监测数据存储优化方案运行截图指南 #### 1. 数据分层迁移脚本运行截图 **脚本示例** (`data_tiering_migration.sh`)： ```bash #!/bin/bash # 热数据迁移至SSD hdfs storagepolicies -setStoragePolicy -path /env_data/hot -policy ONE_SSD hdfs mover -p /env_data/hot # 冷数据迁移至ARCHIVE hdfs storagepolicies -setStoragePolicy -path /env_data/cold -policy COLD hdfs mover -p /env_data/cold ``` **如何截图**： - 运行前使用 `hdfs dfs -du -h /env_data` 显示原始数据分布 - 执行脚本时捕捉终端输出（包括迁移进度和耗时） - 运行后通过 `hdfs storagepolicies -getStoragePolicy -path /path` 验证策略生效情况 - 在HDFS NameNode Web UI（`http://<namenode>:9870`）截取存储策略分布图 --- #### 2. 动态扩缩容操作截图 **扩缩容流程**： ```bash # 添加节点（截图扩容过程） hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes # 节点退役（截图缩容） echo "dn-07.example.com" > excludes.txt hdfs dfsadmin -refreshNodes ``` **关键截图点**： 1. 扩容前集群状态：`yarn node -list` 2. 扩容命令执行输出 3. HDFS Web UI的`Decommissioning Nodes`页面 4. 容量变化对比：`hdfs dfsadmin -report` 的容量统计部分 --- #### 3. Terasort性能测试截图 **基准测试脚本** (`terasort_benchmark.sh`)： ```bash # 生成1TB测试数据 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jar teragen 10000000000 /bench/in # 运行排序测试 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jar terasort /bench/in /bench/out # 验证结果 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.x.jar teravalidate /bench/out /bench/validate ``` **核心截图**： - 任务启动命令和参数 - YARN ResourceManager Web UI（`http://<rm>:8088`）显示的任务执行进度 - `Terasort`作业的Counter信息（重点截取`FILE_BYTES_READ/WRITTEN`） - 最终耗时输出：`Job Finished in 32.5 minutes` --- #### 4. 列式存储优化截图（Parquet格式） **Hive表创建示例**： ```sql CREATE TABLE env_monitor_parquet ( sensor_id STRING, timestamp BIGINT, value DOUBLE ) STORED AS PARQUET TBLPROPERTIES ("parquet.compression"="SNAPPY"); ``` **截图要点**： 1. Hive命令行执行DDL语句的输出 2. 通过 `hdfs dfs -du -h /warehouse/...` 显示Parquet文件大小 3. `DESCRIBE FORMATTED env_monitor_parquet` 的表属性信息 4. 相同查询对比ORC/Parquet/Text的执行时间（通过`EXPLAIN ANALYZE`） --- #### 5. 压缩算法效果对比截图 **压缩测试流程**： ```bash # 创建不同压缩格式的测试表 CREATE TABLE snappy_tbl STORED AS ORC TBLPROPERTIES ("orc.compress"="SNAPPY"); CREATE TABLE zlib_tbl STORED AS ORC TBLPROPERTIES ("orc.compress"="ZLIB"); # 插入相同数据集 INSERT INTO snappy_tbl SELECT * FROM source_data; INSERT INTO zlib_tbl SELECT * FROM source_data; ``` **关键截图**： 1. HDFS文件大小对比：`hdfs dfs -du -h /warehouse/*` 2. 插入耗时：YARN作业日志中的`Elapsed Time` 3. 查询性能：通过`EXPLAIN ANALYZE`比较扫描同量数据的耗时差异 --- #### 6. 综合性能评估报告 **监控指标截图**： 1. **HDFS容量**：NameNode UI的`Summary`板块 2. **资源利用率**：YARN UI的`Cluster Metrics`图表 3. **压缩率计算**：原始文本文件 vs 压缩后文件大小 4. **IO负载**：Grafana监控中的磁盘IOPS/吞吐量面板 5. **查询延迟**：Hive/Spark执行日志中的作业完成时间 > 📌 **操作建议**： > - 所有截图需包含时间戳和主机标识 > - 使用`tee`命令保存完整输出：`./benchmark.sh | tee benchmark.log` > - 对关键指标用红色方框标注，如：`[平均吞吐量: 1.2GB/s]`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值