利用MapReduce实现倒排索引

这里来学习的是利用MapReduce的分布式编程模型来实现简单的倒排索引。

首先什么是倒排索引？

倒排索引是文档检索中最常用的数据结构，被广泛地应用于全文搜索引擎。

它主要是用来存储某个单词（或词组）在一个文档或一组文档中存储位置的映射，即可以通过内容来查找文档；

而不是通过文档来确定文档所包含的内容，因而被称作倒排索引（Inverted Index）。

倒排索引的基本原理和建立过程可以用图来说明。

各种类型的文件经过解析后变成纯文本，再经过中文分词，并与对应的文档号进行组合，

就形成了最简单的倒排索引文件倒排序表。

倒排序表的结构是这样一些元组集合：<词汇，<文档 ID，词汇位置>>。

 

比如有如下三个文件：

file1.txt

MapReduce is simple

file2.txt

MapReduce is powerful is simple

file3.txt

Hello MapReduce bye MapReduce

经过倒排索引之后的输出结果可能是：

Hello                file3.txt:1;

MapReduce     file3.txt:2;   file2.txt:1;   file1.txt:1;

bye                  file3.txt:1;

is                     file2.txt:2;   file1.txt:1;

powerful          file2.txt:1;

simple              file2.txt:1;    file1.txt:1;

设计思路

倒排索引主要关注的点在于单词、文档URL和词频。

1、Map过程

2、Combine过程

3、Reduce过程

===========================================

此处应有代码

===========================================