hadoop archive归并文档使用及测试

最新推荐文章于 2025-06-02 10:47:39 发布
原创 最新推荐文章于 2025-06-02 10:47:39 发布 · 602 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #archive #文档 #output #input #file

本文详细介绍了如何使用HadoopArchive将分布在多个目录中的大文件进行归并操作，并通过实例展示了归并过程中的Job任务执行情况及最终归并文件的结构。

hadoop archive归并文档使用及测试。


archive用法：

[hadoop@hadoop9 jars]$ hadoop archive --help
archive -archiveName NAME -p <parent path> <src>* <dest>


archive归并文件的时候会启动一个M/R Job任务来执行，如下：

[hadoop@hadoop9 jars]$ hadoop archive -archiveName tables.har -p /root/src/(/*此处有72G的数据，分散在多个目录中*/) /root/dst/

12/05/15 10:23:02 INFO mapred.JobClient: Running job: job_201205141650_0029
12/05/15 10:23:03 INFO mapred.JobClient:  map 0% reduce 0%
12/05/15 10:23:13 INFO mapred.JobClient:  map 40% reduce 0%
12/05/15 10:23:14 INFO mapred.JobClient:  map 50% reduce 0%
12/05/15 10:23:19 INFO mapred.JobClient:  map 51% reduce 0%
12/05/15 10:23:40 INFO mapred.JobClient:  map 52% reduce 0%
12/05/15 10:24:04 INFO mapred.JobClient:  map 53% reduce 0%
12/05/15 10:24:28 INFO mapred.JobClient:  map 55% reduce 0%
12/05/15 10:24:34 INFO mapred.JobClient:  map 57% reduce 0%
12/05/15 10:24:47 INFO mapred.JobClient:  map 58% reduce 0%
12/05/15 10:24:53 INFO mapred.JobClient:  map 59% reduce 0%
12/05/15 10:25:02 INFO mapred.JobClient:  map 60% reduce 0%
12/05/15 10:25:13 INFO mapred.JobClient:  map 61% reduce 0%
12/05/15 10:25:17 INFO mapred.JobClient:  map 62% reduce 0%
12/05/15 10:25:23 INFO mapred.JobClient:  map 63% reduce 0%
12/05/15 10:25:48 INFO mapred.JobClient:  map 64% reduce 0%
12/05/15 10:25:59 INFO mapred.JobClient:  map 65% reduce 0%
12/05/15 10:26:27 INFO mapred.JobClient:  map 67% reduce 0%
12/05/15 10:26:36 INFO mapred.JobClient:  map 68% reduce 0%
12/05/15 10:26:38 INFO mapred.JobClient:  map 69% reduce 0%
12/05/15 10:26:41 INFO mapred.JobClient:  map 70% reduce 0%
12/05/15 10:26:47 INFO mapred.JobClient:  map 71% reduce 0%
12/05/15 10:27:02 INFO mapred.JobClient:  map 73% reduce 0%
12/05/15 10:27:13 INFO mapred.JobClient:  map 74% reduce 0%
12/05/15 10:27:56 INFO mapred.JobClient:  map 75% reduce 0%
12/05/15 10:28:24 INFO mapred.JobClient:  map 76% reduce 0%
12/05/15 10:28:30 INFO mapred.JobClient:  map 77% reduce 0%
12/05/15 10:28:46 INFO mapred.JobClient:  map 78% reduce 0%
12/05/15 10:29:16 INFO mapred.JobClient:  map 79% reduce 0%
12/05/15 10:29:21 INFO mapred.JobClient:  map 81% reduce 0%
12/05/15 10:29:24 INFO mapred.JobClient:  map 82% reduce 0%
12/05/15 10:29:43 INFO mapred.JobClient:  map 83% reduce 0%
12/05/15 10:29:48 INFO mapred.JobClient:  map 84% reduce 0%
12/05/15 10:30:03 INFO mapred.JobClient:  map 87% reduce 0%
12/05/15 10:30:15 INFO mapred.JobClient:  map 89% reduce 0%
12/05/15 10:30:34 INFO mapred.JobClient:  map 90% reduce 0%
12/05/15 10:30:42 INFO mapred.JobClient:  map 91% reduce 0%
12/05/15 10:30:55 INFO mapred.JobClient:  map 92% reduce 0%
12/05/15 10:31:01 INFO mapred.JobClient:  map 94% reduce 0%
12/05/15 10:31:06 INFO mapred.JobClient:  map 95% reduce 0%
12/05/15 10:31:10 INFO mapred.JobClient:  map 96% reduce 0%
12/05/15 10:31:18 INFO mapred.JobClient:  map 97% reduce 0%
12/05/15 10:31:31 INFO mapred.JobClient:  map 98% reduce 0%
12/05/15 10:31:52 INFO mapred.JobClient:  map 99% reduce 0%
12/05/15 10:32:31 INFO mapred.JobClient:  map 100% reduce 0%
12/05/15 10:32:41 INFO mapred.JobClient:  map 100% reduce 8%
12/05/15 10:32:44 INFO mapred.JobClient:  map 100% reduce 25%
12/05/15 10:32:56 INFO mapred.JobClient:  map 100% reduce 26%
12/05/15 10:33:26 INFO mapred.JobClient:  map 100% reduce 28%
12/05/15 10:33:41 INFO mapred.JobClient:  map 100% reduce 31%
12/05/15 10:34:08 INFO mapred.JobClient:  map 100% reduce 100%
12/05/15 10:34:08 INFO mapred.JobClient: Job complete: job_201205141650_0029
12/05/15 10:34:08 INFO mapred.JobClient: Counters: 26
12/05/15 10:34:08 INFO mapred.JobClient:   Job Counters
12/05/15 10:34:08 INFO mapred.JobClient:     Launched reduce tasks=1
12/05/15 10:34:08 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=14908205
12/05/15 10:34:08 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/05/15 10:34:08 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/05/15 10:34:08 INFO mapred.JobClient:     Launched map tasks=29
12/05/15 10:34:08 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=94163
12/05/15 10:34:08 INFO mapred.JobClient:   FileSystemCounters
12/05/15 10:34:08 INFO mapred.JobClient:     FILE_BYTES_READ=158845
12/05/15 10:34:08 INFO mapred.JobClient:     HDFS_BYTES_READ=73761329524
12/05/15 10:34:08 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=1953067
12/05/15 10:34:08 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=73761294738
12/05/15 10:34:08 INFO mapred.JobClient:   Map-Reduce Framework
12/05/15 10:34:08 INFO mapred.JobClient:     Map input records=1794
12/05/15 10:34:08 INFO mapred.JobClient:     Reduce shuffle bytes=159013
12/05/15 10:34:08 INFO mapred.JobClient:     Spilled Records=3588
12/05/15 10:34:08 INFO mapred.JobClient:     Map output bytes=155025
12/05/15 10:34:08 INFO mapred.JobClient:     CPU time spent (ms)=1150680
12/05/15 10:34:08 INFO mapred.JobClient:     Total committed heap usage (bytes)=55161126912
12/05/15 10:34:08 INFO mapred.JobClient:     Map input bytes=172632
12/05/15 10:34:08 INFO mapred.JobClient:     Combine input records=0
12/05/15 10:34:08 INFO mapred.JobClient:     SPLIT_RAW_BYTES=4553
12/05/15 10:34:08 INFO mapred.JobClient:     Reduce input records=1794
12/05/15 10:34:08 INFO mapred.JobClient:     Reduce input groups=1794
12/05/15 10:34:08 INFO mapred.JobClient:     Combine output records=0
12/05/15 10:34:08 INFO mapred.JobClient:     Physical memory (bytes) snapshot=41620033536
12/05/15 10:34:08 INFO mapred.JobClient:     Reduce output records=0
12/05/15 10:34:08 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=141252935680
12/05/15 10:34:08 INFO mapred.JobClient:     Map output records=1794

[hadoop@hadoop9 jars]$


[root@hadoop9 jars]# hadoop fs -ls /root/dst/tables.har
Found 32 items
-rw-r--r--   3 hadoop supergroup          0 2012-05-15 10:33 /root/dst/tables.har/_SUCCESS
-rw-r--r--   5 hadoop supergroup     147623 2012-05-15 10:33 /root/dst/tables.har/_index
-rw-r--r--   5 hadoop supergroup         61 2012-05-15 10:33 /root/dst/tables.har/_masterindex
-rw-r--r--   3 hadoop supergroup 1863349328 2012-05-15 10:22 /root/dst/tables.har/part-0
-rw-r--r--   3 hadoop supergroup 1819888235 2012-05-15 10:22 /root/dst/tables.har/part-1
-rw-r--r--   3 hadoop supergroup 1890091347 2012-05-15 10:22 /root/dst/tables.har/part-10
-rw-r--r--   3 hadoop supergroup 1697144739 2012-05-15 10:22 /root/dst/tables.har/part-11
-rw-r--r--   3 hadoop supergroup 2148543927 2012-05-15 10:22 /root/dst/tables.har/part-12
-rw-r--r--   3 hadoop supergroup 1636754927 2012-05-15 10:22 /root/dst/tables.har/part-13
-rw-r--r--   3 hadoop supergroup 2105077448 2012-05-15 10:22 /root/dst/tables.har/part-14
-rw-r--r--   3 hadoop supergroup 1951327272 2012-05-15 10:22 /root/dst/tables.har/part-15
-rw-r--r--   3 hadoop supergroup 1905061075 2012-05-15 10:22 /root/dst/tables.har/part-16
-rw-r--r--   3 hadoop supergroup 1538641658 2012-05-15 10:22 /root/dst/tables.har/part-17
-rw-r--r--   3 hadoop supergroup 2786014449 2012-05-15 10:22 /root/dst/tables.har/part-18
-rw-r--r--   3 hadoop supergroup 3087401727 2012-05-15 10:22 /root/dst/tables.har/part-19
-rw-r--r--   3 hadoop supergroup 2166233369 2012-05-15 10:22 /root/dst/tables.har/part-2
-rw-r--r--   3 hadoop supergroup 4154808891 2012-05-15 10:22 /root/dst/tables.har/part-20
-rw-r--r--   3 hadoop supergroup 3504078648 2012-05-15 10:22 /root/dst/tables.har/part-21
-rw-r--r--   3 hadoop supergroup 3107759125 2012-05-15 10:22 /root/dst/tables.har/part-22
-rw-r--r--   3 hadoop supergroup 3872013220 2012-05-15 10:22 /root/dst/tables.har/part-23
-rw-r--r--   3 hadoop supergroup 3706866633 2012-05-15 10:22 /root/dst/tables.har/part-24
-rw-r--r--   3 hadoop supergroup 4699050623 2012-05-15 10:22 /root/dst/tables.har/part-25
-rw-r--r--   3 hadoop supergroup 4932266111 2012-05-15 10:22 /root/dst/tables.har/part-26
-rw-r--r--   3 hadoop supergroup 3548633205 2012-05-15 10:22 /root/dst/tables.har/part-27
-rw-r--r--   3 hadoop supergroup 3532625555 2012-05-15 10:22 /root/dst/tables.har/part-28
-rw-r--r--   3 hadoop supergroup 2080168915 2012-05-15 10:22 /root/dst/tables.har/part-3
-rw-r--r--   3 hadoop supergroup 2093903549 2012-05-15 10:22 /root/dst/tables.har/part-4
-rw-r--r--   3 hadoop supergroup 2028814169 2012-05-15 10:22 /root/dst/tables.har/part-5
-rw-r--r--   3 hadoop supergroup 1534977869 2012-05-15 10:22 /root/dst/tables.har/part-6
-rw-r--r--   3 hadoop supergroup  634753410 2012-05-15 10:22 /root/dst/tables.har/part-7
-rw-r--r--   3 hadoop supergroup 2081953097 2012-05-15 10:22 /root/dst/tables.har/part-8
-rw-r--r--   3 hadoop supergroup 1652944533 2012-05-15 10:22 /root/dst/tables.har/part-9
[root@hadoop9 jars]#


hadoop各组件工作流程分析
Saniana的博客
05-16 2248
conbineTextInputFormat切片机制。将大量的小文件合并成一个大的Map Task的过程。虚拟存储过程 切片过程。
Hadoop总结
CharlesDavid
12-29 1288
Hadoop总结 文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统 HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFS shell操作HDFS shell操作练习资源调度框架 YARN什么是YARNYARN产生背景YARN的架构和执行流程YARN环境搭建分布式处理框架 MapReduce什么是MapReduceMapReduce编程模型Hadoop Streaming 实现wordcount （实验 了解）MapReduce实战利用MRJob
hadoop中的合并（Combine）与归并(Merge)
qq_38603049的博客
10-25 4773
例如有两个键值对 <“a”,1> 和 <“a”,1>， 如果合并，会得到<“a”,2>， 如果归并，会得到<“a”,<1,1>>。
Hive Archive合并文件归档，减少小文件数量(推荐)
Widsom的博客
09-10 1593
我们在使用Hive存储时，有时会遇到Hive表的文件大小不大，但是文件数量众多；这是可能会遇到HDFS的储存空间没到阈值，但文件数量超过阈值。如果小文件太多，容易影响整个集群的性能。 那么对于小文件多的问题，有以下处理方法： 1.输出时减少reduce的数量；但可能会导致job运行变慢 2.使用Spark重新读取小文件，修改分区并写入，这里不建议使用repartition()，推荐使用coalesce() repartition()会增加文件的大小，因为要历经shuffle阶段，但coalesce()不会经
hadoop处理海小文件的改进方法
10-26
hadoop处理海小文件的一种改进方法的文章，可供参考。
Hadoop文件合并——Hadoop In Action上的一个示例
weixin_33722405的博客
03-27 273
上一篇文章已经详细的说明了如何在Eclipse下面远程连接Hadoop集群，进行Hadoop程序开发。这里说明一个Hadoop In Action书上的一个示例，可能是由于Hadoop版本更新的问题，导致树上的一些个示例程序没有办法正常执行。整个代码的工作就是把本地目录下个若干个小文件，合并成一个较大的文件，写入到HDFS中。话不多说，代码如下：补充说...
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
热门推荐
ASN_forever的博客
07-29 6万+
shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两...
1.Hadoop简介——为什么要使用Hadoop？什么是Hadoop？Hadoop有什么作用？
m0_63953077的博客
03-02 2378
为什么要使用Hadoop？什么是Hadoop？Hadoop有什么作用？
Hadoop笔记
weixin_43895344的博客
02-20 1073
hadoop相关概念
Hadoop学习之整体介绍及环境搭建
fighting
08-04 267
Hadoop学习之整体介绍及环境搭建 1 大数据概述 1.1 什么是大数据 数据(data)是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加 工的的原始素材。 大数据：传统处理方式无法解决的不仅大而且复杂的数据集的存储和计算。 1.2 大数据的四个特性 （1）容量（Volume）：数据的大小决定所考虑的数...
Hadoop学习笔记
最新发布
wyn20001128的博客
06-02 586
Hadoop是一个开源的分布式计算和存储框架，用于处理大规模数据集（大数据）的并行处理。它由Apache基金会开发，核心设计灵感来自Google的MapReduce和Google文件系统（GFS）论文。Hadoop的核心优势在于其高容错性、横向扩展能力（可通过增加普通服务器扩展集群）以及低成本。
hadoop之HDFS
qq_17200461的博客
11-07 3084
Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C
Hadoop(2.x)学习笔记
千里之行，始于足下
09-26 627
前言 本文着重分解Hadoop理论基础及底层原理 文中涉及的Hadoop是基于2.x版本（2.9） 1. 大数据 1.1 定义 无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合 需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力 海量、高增长率和多样化的信息资产 1.2 特点 通常，大数据具有如下5大特点（5V）： 1.2.1 Volume（大量） 采集、存储和计算的数据量都非常大 以PB为例，PB级数据量有多大？是怎样的...
Hadoop性能调优全面总结
pansaky的博客
10-24 2万+
一、 Hadoop概述 随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提...
一句话理解hadoop合并和归并的关系
韩韩的博客
03-15 3690
合并是指combiner的过程，combiner是对重复的key合并在一起，减少冗余信息。是对key的操作。 归并是两个有序文件合并成一个有序文件，是对文件的操作。 ...
hadoop集群容灾方案
05-22 4492
一般情况下，hadoop集群备份机制采用默认的3份保存，如下图：   hadoop集群 file copy size space sample1.dat 3 100M 3*100M sample2.dat 3 200M 3*200M sample3.dat 3 150M 3*150M sample4.
zookeeper清除历史hbase、storm等版本
05-14 4194
之前在集群上安装了hbase的一个版本，后来因该版本不稳定，切换为另一版本，这时候就需要清理zookeeper的记录了，具体方法如下： 1.切换到zookeeper的bin目录； 2.执行$sh zkCli.sh [hadoop@host hadoop]$ cd zookeeper-3.4.5/bin [hadoop@host bin]$ ./zkCli.sh Connecting to
HBase索引
08-29 3709
HBase索引过程的实现确实是一个头两个大，一直在研究这方面的资料，苦不堪言呐！ 不过经过一系列的测试和分析，得出一个结论：自己创建索引！ 理由有二： 一、ITHBase、IHBase等等三方项目创建索引，基本思路就是创建一个额外的索引表，然后建立同步机制。这样问题来了：       1.冗余比较大。我做过ITHBase的实验，基本是原表的每行数据在索引表中都创建一条，如下：
批量生成HFile格式方法
05-29 1977
最近一直在搞批量生成HFile格式的代码，使用了好多方法，具体如下： 方法一、KeyValue生成，代码大致如下： KeyValue kev = new KeyValue(Bytes.toBytes(row.toString()), Bytes .toBytes("info"), Bytes.toBytes(tableField), Bytes.toB
Hadoop安装软件及文档使用教程
此外，Hadoop社区非常活跃，提供了大量的在线资源，包括官方文档、社区论坛、博客文章、教程视频等，用户可以从中获取安装、配置、优化、使用等方面的帮助。随着云计算和大数据技术的发展，Hadoop在企业级市场中扮演...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值