ES+HBase【案例】仿百度搜索04：开发仿百度搜索项目

一、介绍

这个搜索引擎项目主要涉及到数据采集、数据存储、建立索引和数据展现环节。

针对一个搜索引擎项目而言，它的数据基本上都是来源于互联网上的公开数据，想要获取这些数据就需要使用爬虫工具了，目前市面上有一些爬虫产品，但是在使用的时候基本上都需要二次开发，所以企业里面都会有专门的爬虫工程师负责这个工作。

我们在开发这个搜索引擎项目的时候就不再针对爬虫数据采集模块进行扩展了，到时候我会提供一个数据接口，大家通过接口可以直接获取到一些互联网上的公开数据。

1、数据格式

数据大致格式是这样的：

我们在开发这个搜索引擎项目的时候会重点实现数据存储、建立索引这两个环节。

2、步骤

大致的开发步骤是这样的：
1：调用接口获取数据导入HBase和Redis(存储Rowkey)。
2：通过ES对HBase中的数据建立索引。
3：对接Web项目，提供页面检索功能。

3、查询要求

在具体开发项目之前，我们首先分析一下项目中的数据和具体的查询要求，这样就知道ES中索引库的mapping应该如何设计了。
在这个搜索引擎项目中，我们需要对爬虫采集到的文章数据在ES中建立索引。

由于文章数据的核心内容主要在标题、描述和正文这3个字段中，所