Mahout 0.8维护笔记

最新推荐文章于 2023-08-12 17:54:09 发布

原创最新推荐文章于 2023-08-12 17:54:09 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop技术专栏收录该内容

12 篇文章

订阅专栏

本文介绍了 Apache Mahout 中分布式矩阵运算类 VectorMatrixMultiplicationJob 的优化过程，包括修改临时文件目录名称，以及在 BuildForest 和 Builder 类中对输出路径处理方式的改进。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（0）
类：
org.apache.mahout.clustering.spectral.common.VectorMatrixMultiplicationJob

方法：
public static DistributedRowMatrix runJob(Path markovPath, Vector diag, Path outputPath)
throws IOException, ClassNotFoundException, InterruptedException

修改前语句：
return runJob(markovPath, diag, outputPath, new Path(outputPath, "tmp"));

修改后语句：
return runJob(markovPath, diag, outputPath, new Path(outputPath, "_tmp"));

（1）
类：
org.apache.mahout.classifier.df.mapreduce.BuildForest

方法：
private void buildForest() throws IOException, ClassNotFoundException, InterruptedException

修改前语句：
forestBuilder.setOutputDirName(outputPath.getName());

修改后语句：
forestBuilder.setOutputDirName(outputPath.toString());

（2）
类：
org.apache.mahout.classifier.df.mapreduce.Builder

方法：
public Path getOutputPath(Configuration conf) throws IOException

修改前语句：
FileSystem fs = FileSystem.get(conf);
return new Path(fs.getWorkingDirectory(), outputDirName);

修改后语句：
FileSystem fs = FileSystem.get(conf);
return fs.makeQualified(new Path(outputDirName));