Distribute Cached 使用

最新推荐文章于 2020-04-24 16:05:59 发布

转载最新推荐文章于 2020-04-24 16:05:59 发布 · 59 阅读

文章标签：

#大数据

本文介绍如何在Pentaho MapReduce任务中使用DistributedCache来共享文件及jar包，通过具体步骤展示了如何将文件上传至HDFS并设置缓存，以及在Mapper或Reducer中利用这些缓存文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

　　在Kettle中说到Pentaho的MapReduce要用到它，就查了一下关于它的资料，以下是从官方查到的内容，记录一下。

　　DistributedCache: 一些比较小的需要共享的文件或者jar包，我们先存到hdfs上，然后在MapReduce线程当中进行共享，直接用了。

　　  // Setting up the cache for the application
     
     1. Copy the requisite files to the FileSystem:
     
     $ bin/hadoop fs -copyFromLocal lookup.dat /myapp/lookup.dat  
     $ bin/hadoop fs -copyFromLocal map.zip /myapp/map.zip  
     $ bin/hadoop fs -copyFromLocal mylib.jar /myapp/mylib.jar
     $ bin/hadoop fs -copyFromLocal mytar.tar /myapp/mytar.tar
     $ bin/hadoop fs -copyFromLocal mytgz.tgz /myapp/mytgz.tgz
     $ bin/hadoop fs -copyFromLocal mytargz.tar.gz /myapp/mytargz.tar.gz
2. Setup the application's JobConf:
     
     JobConf job = new JobConf();
　　  //　#lookup.dat 表示给前面的这个文件取一个别名，类似sql里面的as别名一样
     DistributedCache.addCacheFile(new URI("/myapp/lookup.dat#lookup.dat"), 
                                   job);
     DistributedCache.addCacheArchive(new URI("/myapp/map.zip", job);
     DistributedCache.addFileToClassPath(new Path("/myapp/mylib.jar"), job);
     DistributedCache.addCacheArchive(new URI("/myapp/mytar.tar", job);
     DistributedCache.addCacheArchive(new URI("/myapp/mytgz.tgz", job);
     DistributedCache.addCacheArchive(new URI("/myapp/mytargz.tar.gz", job);

3. Use the cached files in the Mapper
     or Reducer:
     
     public static class MapClass extends MapReduceBase  
     implements Mapper<K, V, K, V> {
     
       private Path[] localArchives;
       private Path[] localFiles;
       
       public void configure(JobConf job) {
         // Get the cached archives/files
         localArchives = DistributedCache.getLocalCacheArchives(job);
         localFiles = DistributedCache.getLocalCacheFiles(job);
       }
       
       public void map(K key, V value, 
                       OutputCollector<K, V> output, Reporter reporter) 
       throws IOException {
         // Use data from the cached archives/files here
         // ...
         // ...
         output.collect(k, v);
       }
     }

　　查看代码了才知道其实它根本不是什么缓存，它只不过是在配置文件中的指定属性记录下相应的值，然后在mapreduce的时候，调用配置文件里面的属性值，然后取得需要的文件盒jar包。