mapreduce中map方法一次读取整个文件

最新推荐文章于 2022-10-01 13:27:48 发布

lqf1403

最新推荐文章于 2022-10-01 13:27:48 发布

阅读量7.7k

点赞数 9

CC 4.0 BY-SA版权

分类专栏： MapReduce 文章标签： mapreduce html 爬虫

本文链接：https://blog.youkuaiyun.com/GYQJN/article/details/50579475

最近有一个项目，需要将爬虫获取的众多网页解析出来，并将内容插入hbase，考虑采用mapreduce来实现。由于一个html文件最大不过几M，所以一个文件将会交给一个map处理，mapreduce中最常见的是按行读取文本文件，而我们需要的是一次读取整个文件内容，然后在map方法中用jsoup解析内容。现将实现一次读取整个文件内容的代码贴出来。

1、定义一个FileInputFormat类

public class WholeFileInputFormat extends FileInputFormat<Text,Text>{
   
   

    @Override
    public RecordReader<Text, Text> createRecordReader(InputSplit arg0, TaskAttemptContext arg1) throws IOException,
            InterruptedException {
        // TODO Auto-generated method stub
        RecordReader<Text,Text> recordReader =