Hadoop 学习笔记：DistributedCache.addCacheFile(URI, conf)的用法

最新推荐文章于 2021-02-16 14:24:11 发布
原创 最新推荐文章于 2021-02-16 14:24:11 发布 · 5.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #DistributedCache

本文指出HadoopinAction一书中关于DistributedCache使用的一个错误示例。正确的做法是将JobConf对象传递给DistributedCache而不是configuration对象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop in Action 中关于DistributedCache的写法有错


     JobConf job = new JobConf();
     DistributedCache.addCacheFile(new URI("/myapp/lookup.dat#lookup.dat"), 
                                   job);
//此处应该传入JobConf对象，而非configuration


Hadoop学习笔记--DistributedCache
xqz583722585的博客
05-28 411
mapreduce api的不同版本对于实现DistributedCache略有差异。1.DistributedCache.addCacheFile(new URI("文件在HDFS中的位置"), conf);这里需要注意：首先，conf指Configuration；其次，这句话必须写在Job job=new Job(conf,"作业名")之前！！2.Path[] files=Distribute...
hadoop中的分布式缓存——DistributedCache
kingjinzi_2008的专栏
07-12 7856
分布式缓存一个最重要的应用就是在进行join操作的时候，如果一个表很大，另一个表很小很小，我们就可以将这个小表进行广播处理，即每个计算节点上都存一份，然后进行map端的连接操作，经过我的实验验证，这种情况下处理效率大大高于一般的reduce端join，广播处理就运用到了分布式缓存的技术。 DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前，文件在每个Jo
DistributedCache类使用
10-30
DistributedCache类使用!
hadoop 分布式缓存
weixin_33671935的博客
03-10 178
Hadoop 分布式缓存实现目的是在所有的MapReduce调用一个统一的配置文件，首先将缓存文件放置在HDFS中，然后程序在执行的过程中会可以通过设定将文件下载到本地具体设定如下： public static void main(String[] arge) throws IOException, ClassNotFoundException, InterruptedException{   ...
DistributedCache 分布式缓存
dingqiu6346的博客
09-14 338
分布式缓存DistributedCache 概念： 所谓的分布式缓存指的是 hadoop框架可以把用户指定的小文件发送到各个maptask运行的机器上，进行缓存，便于maptask读取该文件内容 进行关联查询操作，这就是所谓的map端join。 适用场合： 通常适用于大文件关联小文件，把小文件进行分布式缓存。 举例说明...
hadoop添加缓存文件并读取
moyuan的博客
04-28 2043
1.添加文件到缓存 job.addArchiveToClassPath(archive); // 缓存jar包到task运行节点的classpath中 job.addFileToClassPath(file); // 缓存普通文件到task运行节点的classpath中 job.addCacheArchive(uri); // 缓存压缩包文件到task运行节点的工作目录 job.ad...
Hadoop DistributedCache实战：提升连接效率与文件共享
2. 在Job中添加文件路径：在Job的配置中，使用`DistributedCache.addCacheFile()`方法添加HDFS上的文件路径，如果是本地运行，确保路径是相对于主机的。 3. 初始化并读取文件：在Task的`setup()`方法中，你可以通过...
hadoop学习笔记（六）MapReduce常见实例三：Join操作（Map端join、Reduce端join、单表join）
Lee的学习笔记
12-20 1063
目录 什么是join？ Map端Join 任务描述 流程分析 代码 执行结果 Reduce端Join 任务描述 流程分析 代码 执行结果 单表Join 任务描述 流程分析 代码 执行结果 什么是join？   Map端Join MapReduce提供了表连接操作其中包括Map端join、Reduce端join还有单表连接，现在我们要讨论的是Map端joi...
hadoop distributedcache使用
数据技术控
09-13 4173
主题思想： hadoop distributedcache的作用将文件分发到各个结点本地磁盘保存,并且用完后并不会被立即清理的,而是专门的一个线程根据文件大小限制(local.cache.size设定,默认是10G) 和文件/目录数目(mapreduce.tasktracker.local.cache.numberdirectories默认是是10000)上限周期性进行清理(默认60s, m
在mapreduce任务中使用distributedCache
ATCO[这里，只是顺手插曲]
06-19 1546
背景：在使用mapreduce时，各个map之间需要共享一些信息。如果信息不大，可以保存在conf中。但是需求是在各个map之间共享文件或者tar包 使用distributedCache可以满足这个需求： distributedCache可以把HDFS上的文件（数据文件、压缩文件等等）分发到各个执行task的节点。执行map或者reduce task的节点就可以在本地，直接
Hadoop的分布式缓存
hellojoy的博客
01-27 403
https://www.cnblogs.com/twodoge/p/9762104.html Hadoop的分布式缓存 1.什么时Hadoop的分布式缓存 答：在执行MapReduce时，可能Mapper之间需要共享一些信息，如果信息量不大，可以将其从HDFS中加载到内存中，这就是Hadoop分布式缓存机制。 2.如何使用缓存机制 答：在main方法中加载共享文件的HDFS路径，路径可以是目录也可以是文件。可以在路径末尾阶段追加 '#' +别名，在map阶段可以使用该别名。 这...
Hadoop分布式文件缓存(DistributeCache)
梦想成真那天
08-22 1897
如果在Hadoop程序中,我们需要将一大堆中间结果集,给其他的MR任务的使用,那么这个参数怎么传递呢? 如果是少量的参数问题,我们可以使用Configuration使用,但是如果是大量的结果集怎么处理呢? 这个时候,就需要引入MR任务的分布式缓存文件系统了. 如果要使用缓存文件,首先需要在Driver层,将中间结果的文件路径添加到MR的job中 package net.icsoc.ct...
Hadoop分布式缓存(DistributedCache)
coding笔记
11-14 3440
概述 DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理. DistributedCache 可将具体应用相关的、大尺寸的、只读的文件有效地分布放置。DistributedCache 是Map/Reduce框架提供的功能，能够缓存应用程序所需的文件 （包括文本，档案文件，
DistributedCache.addCacheFile函数使用过程中遇到的坑
xie_xie_nong的博客
08-14 1660
符号链接：              Path inPathRelLocal = new Path(hdfsFile);             // # 号之后的名称是对上面文件的链接，不同文件的链接名不能相同，虽然由你自己随便取             String inPathLinkRelLocal=inPathRelLocal.toUri().toString()+"#"+linkNa...
job用法 Java_Java Job.addCacheFile方法代码示例
weixin_34878397的博客
02-16 533
import org.apache.hadoop.mapreduce.Job; //导入方法依赖的package包/类public void _testDistributedCache(String jobJarPath) throws Exception {if (!(new File(MiniMRYarnCluster.APPJAR)).exists()) {LOG.info("MRAppJa...
hadoop hdfs uri详解
weixin_34318326的博客
06-21 790
一、hdfs基本命令:hadoop fs -cmd <args>选项：cmd: 具体的操作，基本上与UNIX的命令行相同args: 参数 二、hdfs资源uri格式：用法：scheme://authority/path选项：scheme–>协议名，file或hdfsauthority–>namenode主机名path–>路径范例：hdfs://localhost:5...
MapReduce------addCacheFile的使用
洛云凡
08-08 1540
main方法中设置缓存文件 job.addCacheFile(new URI("file:/你的文件路径)); 在Mapper类的setup方法中加载缓存文件，setup方法，在maptask运行前只调用一次，可进行初始化工作。 protected void setup(Context context)throws IOException, InterruptedException { ...
mapreduce的缓存(addCacheFile)使用
沙漠的飞鱼
07-31 6459
1.在main()方法中添加缓存路径job.addCacheFile(new URI(args[2])); job.addCacheFile(new URI(args[3]));2.在map或者reduce的setup方法中处理缓存文件FileReader in = null; BufferedReader reader = null; HashMap<String, String> n_map =
hadoop开发重点总结
超越的博客
05-17 350
1、Mapper的key排序方式默认为快速排序，合并切片文件时用的是归并排序，继承Mapper类 * 驱动类关联map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要继承Reducer类，重写reduce(key, values, context)方法 * 驱动类关联reducer：job.setReducerClass(Wordcou...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值