solr学习（五）定时任务增量更新db数据到solr

原创已于 2022-09-09 17:51:34 修改 · 552 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#solr8.x #solr自动更新 #mac #solr定时 #solr定时任务

于 2019-04-19 16:13:34 首次发布

搜索专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何利用操作系统的定时任务功能，如Windows的任务计划程序、Linux的crontab或Mac的crontab，来定时触发Solr的增量数据更新。通过配置定时任务发送HTTP请求至Solr的数据导入控制器，实现数据的自动同步。

solr版本：8.x

说明：solr是自带定时功能更新数据的功能，但是我没在网上找到示例，最后用操作系统的定时任务实现的

其实就是：

如果你是windows那就在定时任务里面增加一个任务；

如果你是linux那就是在crontab里面增加一句shell；

mac是有crontab的，在里面配置一条自动跑批，然后定时去执行http请求即可，但前提是已经配置好solr增量更新数据的设置

直接在终端里面发起下面这条命令就能完成测试：

curl -G -d "command=delta-import&clean=false&commit=true" "http://localhost:8983/solr/demo_core/dataimport"

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cgv3

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

后端 Spring Data Solr 数据更新与同步机制

欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。

05-02

565

在现代企业应用中，搜索功能已成为不可或缺的核心组件。Apache Solr作为一款高性能的企业级搜索平台，被广泛应用于各种业务场景。然而，如何确保Solr索引数据与源数据库保持同步，是开发者面临的重要挑战。本文旨在全面解析Spring Data Solr框架下的数据更新与同步机制，涵盖从基础概念到高级应用的完整知识体系。Spring Data Solr与原生Solr客户端的区别与优势数据同步的基本模式与实现策略高并发环境下的数据一致性保障性能优化与异常处理的最佳实践。

Solr 8.11入门教程(3)数据库导入数据

donggongai的博客

10-31

854

数据库导入数据生产环境下我们一般需要从数据库中导入数据。准备测试数据建一个solrtest的表 CREATE TABLE `solrtest` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', `name` varchar(255) DEFAULT NULL COMME

参与评论您还未登录，请先登录后发表或查看评论

09-09

05-05

11-15

定时增量更新索引库所需jar文件以及增量更新配置文件。

三、solr增量更新

JockerO的博客

06-01

4151

原地址：http://www.cnblogs.com/zhuwenjoyce/p/6529448.html 尚未实现首次同步mysql数据库的，请参考我的另一篇文章http://www.cnblogs.com/zhuwenjoyce/p/6512378.html（solr6.4.1搜索引擎同步mysql数据库）过时的类在solr6.4.1版本中，已无HttpSo

solr4.7.1定时实时重建索引和增量更新

ytp151730的专栏

12-16

1849

Solr官方提供了很强大的Data Import Request Handler，同时提供了一个简单的 Scheduler，示例中的 Scheduler 只支持增量更新，不支持定期重做索引，因此我做了一个简单的封装，增加了重做索引的定时器。 1. 将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的 solr-dataimpor

solr运行配置与数据库数据导入到solr

12-14

5. **导入数据库数据**：为了实现数据库数据导入，将JDBC驱动和`apache-solr-dataimporthandler-3.6.0.jar`复制到`solr.war`解压后的`WEB-INF/lib`目录。然后，将`example-DIH`目录下的内容覆盖到Solr Home的相应...

windows-solr集群.docx

02-11

- Solr支持通过配置文件实现数据的自动同步和增量更新。 - 在`data-config.xml`中定义`dataSource`和`document`节点来指定数据来源、映射关系等。 - 可以通过Solr管理界面或命令行工具执行数据导入任务。 #### ...

图解Solr6.6.0安装与MySQL配置

07-06

- **全量更新**: 通过运行一次完整的导入任务，覆盖现有的索引数据。 - **增量更新**: 只更新自上次导入以来更改的数据，通常通过记录最后更新时间或ID来实现。 #### 五、总结本文详细介绍了如何安装配置Solr ...

solr增量导入更新索引包

12-05

solr增量导入更新索引包

solr定时任务

xiaomingkuang的博客

10-24

612

1、下载jar包：solr-dataimportscheduler-1.1.jar http://pan.baidu.com/s/1hsySs2S 2、新建文件：dataimport.properties，文件复制下面的就好，具体配置含义已给出注释： ################################################# dataimport scheduler ...

Solr定时增量更新

热门推荐

漫天雪_昆仑巅

07-10

4万+

1 概述将数据库中的数据导入到了solr中之后，如果数据库中的数据有变动，solr中还是第一次导入的旧的数据，因此需要定时检测数据库中的数据变化，并实时将变化的数据同步到solr中。 2 配置定时同步 2.1 下载下载地址：http://download.csdn.net/detail/vtopqx/9891724 将下载的solr-dataimport-

（solr系列:五） solr定时实时重建索引和增量更新

weixin_34413802的博客

10-21

541

将mysql中的数据导入到了solr中之后，如果数据库中的数据有变动，solr中还是第一次导入的旧的数据，那该如何是好呢？该如何实现mysql数据库中的数据定时同步到solr中呢？下面将做详细的介绍。准备工作要做好：1、下载jar包：solr-dataimportscheduler-1.1.jar http://pan.baidu.com/s/1hsySs2S ...

solr全量更新和增量更新，定时增量更新详解

JavadeSon的博客

08-27

3726

这里写自定义目录标题一、全量更新（1）什么是全量更新？（2）全量更新的配置【1】核心目录下创建一个data-config.xml文件：【2】核心的conf文件夹下的solrconfig.xml文件，在第一个requestHandler标签上面添加：【3】核心的conf文件夹下的managed-schema文件，在第一个field标签上面添加：【4】到solr后台管理页面，选择全量更新的选项，点击Execute二、增量更新（1）什么是增量更新？（2）为什么需要增量更新？（3）增量更新的配置【1】首先要弄懂几个

关于Solr定时更新的那些事

LuvSnow的博客

12-01

2375

关于Solr定时更新的那些事 Solr这个东西，本身已经是完美的存在了。但是。。。这个完美也只是暂时的。就目前而言，我们经常遇到的定时更新问题，有大触早就解决了，不知道的去问度娘去。然而，我们通常会给Solr添加权限控制。这里就会遇到一个问题，就是权限，因为目前定时更新支持的版本是solr5以及solr6的，然而，我看了一下这两个版本都不支持权限控制状态下的定时更新。我有尝试在pro...

solr 增量更新

chencongbin5的博客

08-04

801

solr 数据太多了不能老full-import ,数据少还好数据超过10万+ 创建索引要好久好久,,, 把数据库新增的数据创建索引这时候就引入了增量更新 delta-import 首先在data-config.xml : <entity name="iczshuxue" pk="t_uuid" query="SELECT knowle

solr 的全量更新与增量更新

weixin_30481087的博客

06-14

1071

1.solr 的全量更新 1.core/conf 目录下的 solrconfig.xml，新增如下配置  <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">...

solr 数据导入

最新发布

08-22

<think>我们正在回答用户关于Solr数据导入配置方法及步骤的问题。根据引用内容，我们知道Solr主要通过DataImportHandler(DIH)来实现数据导入，而DataImportScheduler插件用于定时自动执行导入。用户要求的是配置方法及步骤，因此我们将重点放在DIH的配置上，并简要提及调度器的使用。步骤通常包括： 1. 配置solrconfig.xml以启用DataImportHandler 2. 创建并配置data-config.xml文件，定义数据源和导入逻辑 3. 配置schema.xml（或使用托管模式）以确保字段匹配 4. （可选）配置DataImportScheduler插件实现定时导入我们根据引用[4]和[5]中的示例来展示配置细节。注意：Solr的版本差异可能导致配置略有不同，我们将以Solr 7.4为主，同时兼顾6.x版本（如引用[2]中提到的兼容性建议）。开始逐步回答：</think>### Solr 数据导入配置方法及步骤 Solr 通过 **DataImportHandler (DIH)** 实现数据导入功能，支持从数据库、文件系统等数据源导入数据。以下是详细配置步骤： --- #### 一、启用 DataImportHandler 1. **修改 `solrconfig.xml`** 在 `<config>` 标签内添加以下配置，启用 DIH 组件： ```xml <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> <lst name="defaults"> <str name="config">data-config.xml</str>  </lst> </requestHandler> ``` [^3] --- #### 二、配置数据源 (`data-config.xml`) 1. **创建 `data-config.xml` 文件** 在 Solr Core 的 `conf` 目录下创建此文件，配置数据源和实体映射： ```xml <dataConfig>  <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/db_name" user="root" password="123456"/>  <document> <entity name="product" query="SELECT id, name, price, description FROM products">   <field column="id" name="product_id" /> <field column="name" name="product_name" /> <field column="price" name="product_price" /> <field column="description" name="product_desc" /> </entity> </document> </dataConfig> ``` [^4][^5] 2. **关键参数说明**： - `dataSource`：定义数据库类型、驱动、连接信息。 - `entity`：映射数据库表或查询结果。 - `field`：`column` 为数据库列名，`name` 为 Solr 字段名。 --- #### 三、配置字段映射 (`schema.xml`) 确保 `schema.xml` 中的字段与 `data-config.xml` 的映射一致： ```xml <field name="product_id" type="string" indexed="true" stored="true" /> <field name="product_name" type="text_smartcn" indexed="true" stored="true" /> <field name="product_price" type="float" indexed="true" stored="true" /> <field name="product_desc" type="text_smartcn" indexed="true" stored="true" /> ``` > **注意**：若使用中文分词（如 `text_smartcn`），需提前配置分词器[^5]。 --- #### 四、执行数据导入 1. **手动触发导入** 通过 HTTP 请求执行： ```bash curl http://localhost:8983/solr/<core_name>/dataimport?command=full-import ``` - `command=full-import`：全量导入 - `command=delta-import`：增量导入（需额外配置增量策略） 2. **自动定时导入（可选）** 使用 **DataImport Scheduler 插件**： - 将插件 JAR 包放入 Solr 的 `lib` 目录。 - 在 `solrconfig.xml` 中添加定时任务配置： ```xml <listener event="newSearcher" class="org.apache.solr.handler.dataimport.scheduler.DataImportSchedulerListener"> <str name="interval">300</str>  </listener> ``` [^1][^2] --- #### 五、验证与调试 1. **检查导入状态**： ```bash curl http://localhost:8983/solr/<core_name>/dataimport?command=status ``` 2. **查看日志**：在 Solr 日志文件（如 `solr.log`）中搜索 `DataImport` 关键词，定位错误信息[^2]。 --- ### 常见问题处理 - **驱动缺失**：将数据库驱动 JAR（如 `mysql-connector-java.jar`）放入 Solr 的 `lib` 目录。 - **字段类型不匹配**：确保 `schema.xml` 中的字段类型与数据库数据类型兼容。 - **增量导入配置**：需在 `data-config.xml` 中定义 `deltaQuery` 和 `deltaImportQuery`[^3]。 --- ### 版本兼容性建议 - **Solr 7.4+**：直接使用内置 DIH 组件。 - **Solr 6.x**：需额外安装 `solr-dataimporthandler` 扩展包[^2]。通过以上步骤，即可完成 Solr 数据导入的配置与自动化[^1][^3]。 ---