solr全量更新和增量更新的理解

最新推荐文章于 2022-10-18 08:24:22 发布

原创最新推荐文章于 2022-10-18 08:24:22 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#solr

solr 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Solr中的全量更新和增量更新。全量更新是指将数据库中的所有数据导入到Solr中，适合数据量小的情况。而增量更新则是在全量更新的基础上，通过记录上次导入时间来确定新增或修改的数据，有效减少了大数据量时的工作量。配置Data-config.xml文件和delta-import参数是实现增量更新的关键。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、全量更新

我们在solr页面将数据库中的数据全部导入到solr中的方式就叫做solr的全量更新
在这里插入图片描述

full-import:英文意思为全量更新，此选项的作用即使将数据库中的数据全部导入到solr中，当我们现在的数据量较小时，solr的全量更新是很快的，可是如果我们在大数据量的情况下，还需要进行全量更新是不是会使得工作量变得十分的大呢？

2、增量更新

配置

在全量更新的配置基础上需要增加配置字段解释：

1<!--  transformer 格式转化：HTMLStripTransformer 索引中忽略HTML标签   --->
2<!--  query:查询数据库表符合记录数据   --->
3<!--  deltaImportQuery:增量索引查询导入数据  --->>4
4<!--  deltaQuery:增量索引查询主键ID    --->    注意这个只能返回ID字段
5 <!--  deletedPkQuery:增量索引删除主键ID查询  ---> 注意这个只能返回ID字段

增量更新的原理文件：dataimport.properties
这个文件的作用是记录你上一次导入solr的时间，它可以找出你的那些增删查改的时间

配置Data-config.xml

<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig> 
    <!--数据源-->
    <dataSource type="JdbcDataSource"
                driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql://192.168.2.10:3306/xtjkqyfw"
                user="root"
                password="Biaopu8888"/>
    <document> 

        <entity name="solrTest" 
        query="SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest where flag = '0'"
        deltaImportQuery = "SELECT fid,ftime,fcontent,ftitle,flastupdatetime FROM solrTest where fid = '${dataimporter.delta.fid}'"
        deltaQuery = "SELECT fid FROM solrTest where flastupdatetime > '${dataimporter.last_index_time}' and flag = '0'"
        deletedPkQuery = "SELECT fid FROM solrTest where flag = '1'"
        >
            <!--查询的数据和数据库索引意义对应column 是查询的字段name 是solr索引对应的字段-->
            <field column="fid" name="fid"/>
            <field column="ftitle" name="ftitle"/>
            <field column="fcontent" name="fcontent"/>
            <field column="flastupdatetime" name="flastupdatetime"/>
            <field column="ftime" name="ftime"/>
        </entity>
        
    </document> 
</dataConfig>