solr4.7 dataimport增量全量创建索引

最新推荐文章于 2024-02-07 00:13:41 发布

最新推荐文章于 2024-02-07 00:13:41 发布 · 284 阅读

文章标签：

#solr #xml #全量增量创建索引

solr 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Solr索引重建的两种方式：全量重建与增量重建，并详细解释了增量重建所需的配置步骤及数据表字段要求。增量重建需定义删除标志和记录创建时间字段，并在dataimport.xml中增加特定配置。

索引创建完毕，就要考虑怎么定时的去重建，除了写solrj，可以定时调用下面两条url进行增量或者全量创建索引
全量:http://ip:port/webapp_name/core_name/dataimport?command=full-import
增量:http://ip:port/webapp_name/core_name/dataimport?command=delta-import
全量索引直接调用就可以，因为是完全删除重建
如果是增量索引，就稍微麻烦一些，首先你必须在表中定义两个字段，一个是删除标志:isdeleted，另一个则是记录创建时间:create_date，名称随意，这两个字段主要通知solr对已有索引的删除，和需要导入的新纪录的时间（solr建立索引会生成dataimport.properties，里面last_index_time=2014-03-07 14\:48\:27记录了上次建立索引的时间，需要你指定create_date在这个时间之后的记录进行增量）
接下来需要你在dataimport.xml增加如下配置：

<entity pk="ID"  name="test" 
    query="select  *  from test WHERE isdelete=0 "   
    deltaQuery="select ID  from test where
                create_date>'${dataimporter.last_index_time}'"                 
    deletedPkQuery="select ID from myinfo where isdelete=1"            
    deltaImportQuery="select * from myinfo where     
                      ID='${dataimporter.delta.ID}'">

含义如下：
[color=red]deltaQuery[/color]
查询出所有经过修改的记录的ID
可能是修改操作，添加操作，删除操作产生的
(此查询只对增量导入起作用，而且只能返回ID值)

[color=red]deletedPkQuery[/color]
此操作值查询那些数据库里伪删除的数据的ID（即isdelete标识为1的数据）
solr通过它来删除索引里面对应的数据
(此查询只对增量导入起作用，而且只能返回ID值)

[color=red]deltaImportQuery[/color]
次查询是获取以上两步的ID，然后把其全部数据获取，根据获取的数据
对索引库进行更新操作，可能是删除，添加，修改
(此查询只对增量导入起作用，可以返回多个字段的值,一般情况下，都是返回所有字段的列)