solr dataImportHandler mysql增量索引

最新推荐文章于 2025-09-09 12:51:58 发布

iteye_20432

最新推荐文章于 2025-09-09 12:51:58 发布

阅读量119

点赞数

CC 4.0 BY-SA版权

分类专栏： solr 文章标签： solr mysql search opensouce

本文链接：https://blog.youkuaiyun.com/iteye_20432/article/details/82601958

solr 专栏收录该内容

8 篇文章

订阅专栏

本文详细解析了全量索引与增量索引在数据导入过程中的配置区别，以及如何通过dataimport.properties文件实现数据的增量更新。通过分析配置文件和数据导入处理流程，揭示了增量效率的提升机制。

文章地址：http://quentinxxz.iteye.com/blog/2100621

前一篇中全量索引的data-config.xml 的配置为

<dataConfig>
  <dataSource type="JdbcDataSource"
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://199.xxx.xxx.xxx/quentinxxz_com"
              user="qqq"
              password="qqq"/>
  <document>
    <entity name="product"
            query="select id, price,modify_time from tts_product">
       <field column="price" name="tts_price"/>
       <field column="modify_time" name="tts_modify_time"/>
    </entity>
  </document>
</dataConfig>

对应的增量索引的data-config.xml 的配置为

<dataConfig>
    <dataSource type="JdbcDataSource"
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://199.xxx.xxx.xxx/quentinxxz_com"
              user="qqq"
              password="qqq"/>
  <document>
    <entity name="product"
            query="select id, price,modify_time from tts_product"
               deltaImportQuery="select id, price,modify_time from tts_product where ID='${dih.delta.id}'"
               deltaQuery="select id from tts_product where modify_time >'${dih.last_index_time}'">
             <!---->
              
       <field column="price" name="tts_price"/>
       <field column="modify_time" name="tts_modify_time"/>
    </entity>
  </document>
</dataConfig>

在conf/dataimport.properties中会自动存储最近一次索引的时间，solr正是以此为依据实现增量。但是前提确保你的数据库表中有类似modify_time这样的字段，好与可以做对比。

${dih.last_index_time}为dataimport.properties中的last_index_time信息

${dih.delta.id}为deltaQuery所查询出来的主键id

conf/dataimport.properties中自动存储的信息

#Wed Jul 30 10:58:44 GMT+08:00 2014
last_index_time=2014-07-30 10\:58\:37
product.last_index_time=2014-07-30 10\:58\:37

query是获取全部数据的SQL
deltaImportQuery是获取增量数据时使用的SQL
deltaQuery是获取pk的SQL
parentDeltaQuery是获取父Entity的pk的SQL

注：从配置文件来看，增量的效率似乎很低，"select id, price,modify_time from tts_product where ID='${dih.delta.id}"给我们的感觉是每有一条纪录，就根据id去查一定数据库。其实不然，仔细查看dataImportHanlder的源码，会发现实际执行的sql语句已经做过处理了，DIH会将多个id进行组合，修改sql语句，再执行一次查询。