Solr 初始全量导入数据库数据

Solr部署配置(四)批量导入数据 一、solr自带导入插件DataImporte设置 1、在solrconfig.xml文件中添加如下内容,引入DataImport功能,并设置配置文件位置。 D:\dev\test\solr-tomcat\solr\db\conf\db-data-config.xml 2、将jdbc的jar包和solr包中的DataImport的jar 阅读详情

  假设存在表 newfrom表示 其中 有以下数据:

进入solr所在服务器 搜索 dataimport相关jar包

solr@localhost:/opt/solr$ find / -name *import*.jar
/opt/solr/dist/solr-dataimporthandler-5.5.5.jar
/opt/solr/dist/solr-dataimporthandler-extras-5.5.5.jar

 将这两个jar包拷贝到  solr启动应用 webapp/lib目录下 

cp /opt/solr/dist/solr-dataimporthandler-5.5.5.jar /opt/solr/server/solr-webapp/webapp/WEB-INF/lib

  cp /opt/solr/dist/solr-dataimporthandler-extras-5.5.5.jar /opt/solr/server/solr-webapp/webapp/WEB-INF/lib
  

 同时将mysql的驱动包 丢到该目录下  

编辑core的conf/solrconfig.xml 添加

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
      <lst name="defaults">  
         <str name="config">data-config.xml</str>  
      </lst>  
 </requestHandler>

在solrconfig.xml同一目录下 添加 data-config.xml(配置连接的数据库以及查询的sql语句  )

 <?xml version="1.0" encoding="UTF-8"?>  
<dataConfig>  
    <dataSource name="source1" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.1.3:3306/test" user="root" password="123456" batchSize="-1" />  
<document>  
          <entity name="book" pk="newid"  dataSource="source1"   
                query="select * from  mynew" >
            <field column="newid" name=""/>  
            <field column="newtitle" name="title_ik"/>  
        </entity>
</document>  
</dataConfig>  

访问solrweb管理界面  http://ip:

 

 

Solr 的全量更新与增量更新 Solr 的全量更新与增量更新 1.全量更新 全量,这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方; 全量的话,可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据);或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新); 这里面有一个隐藏的问题:如果采用异步写,主数据物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,或者其他手段,把这些“看不到”的数据记录起来。 2.增量更新 增量的基础是全量,就是你要使用某种方式先把全量数据拷贝过来,然 阅读详情

相关推荐

nnU-Net v2实战:从零开始配置环境与训练自定义医学影像数据集

本文详细介绍了nnU-Net v2在医学影像分割中的实战应用,从环境配置到自定义数据集训练的全流程。重点讲解了Python 3.9+环境搭建、PyTorch安装技巧、医学影像数据预处理规范,以及五折交叉验证训练方法,帮助开发者快速掌握这一先进的医学影像分析工具。

weixin_28718487的博客 352

基于solr7.4入门学习二【导入数据到solr、增量更新索引】

问题一:为什么要导入数据到solr 因为solr所谓的索引可不是基于数据库的索引,而将数据库的数据导入到solr中,也就是core/data文件下,并根据配置信息生成索引等。有点类似于redis。 问题二:怎么导入数据到solr 首先点击core/的DataImport选项: 这里提示要在solrconfig中去做一个DataImportHandler的定义。 1.首先在数据库中国准备一张类似表...

siwash的博客 2587

解决Matlab激活后License checkout failed问题的详细步骤与避坑指南

本文详细解析了Matlab激活后出现License checkout failed错误的常见原因及解决方案,重点介绍了如何正确找到并运行激活程序,避免用户名填写错误等常见问题。文章还提供了多次激活与疑难排解的实用建议,帮助用户顺利完成Matlab激活过程。

weixin_33670786的博客 581

solr导入百万级的数据库内存溢出

在data-config.xml文件标签里添加batchSize="-1"; 如下: url="jdbc:mysql://192.168.0.141:3306/onion"  user="root" password="iycong"/> 然后重启tomcat; 进入solr管理界面dataimport

BugNull的博客 2931

手把手教你用C#和LibUsbDotNet实现USB设备通信(含完整代码示例)

本文详细介绍了如何使用C#和LibUsbDotNet库实现USB设备通信,包括设备识别、连接建立、同步/异步数据读写等核心操作。通过完整的代码示例,开发者可以快速掌握USB通信的关键技术,适用于工业自动化、医疗设备等多种场景。重点讲解了数据读写优化和错误处理技巧,帮助提升通信效率和可靠性。

a3b4c5的博客 705

树莓派4B保姆级教程:从零配置Python虚拟环境到PySide2开发全流程(含避坑指南)

本文提供树莓派4B上配置Python虚拟环境及PySide2 GUI开发的完整教程。针对armv7l架构的特殊性,详细讲解了从系统准备、虚拟环境创建到PySide2安装的避坑指南,并重点解决了跨平台UI文件处理等常见难题,帮助开发者构建稳定高效的开发环境。

9q8w7e6r5的博客 822

在solr中使用dataimport导入数据报内存溢出问题

solr-7.3.0\bin>Exception in thread "Thread-21" java.lang.OutOfMemoryError: Java heap space at com.mysql.jdbc.MysqlIO.readPacket(MysqlIO.java:604) at com.mysql.jdbc.MysqlIO.getResult...

cx1006784951的博客 1742

CANOCO5.0实现冗余分析(RDA)最详细步骤

在地理及生态领域会常使用RDA分析,RDA的实现路径也有很多,今天介绍一下CANOCO软件的实现方法。1.不同样点和环境因子之间夹角是锐角 是正相关,是钝角是负相关。2.夹角越大 说明相关性较小,夹角越小,相关性越大。得有不同的物种或者样点数值,再加上环境因子数据。3.箭头越长 相关性越大。时间调整到2010年。

Along6的博客 1万+

全量导入数据 导致solr内存溢出 崩溃问题解决

在 data-config.xml 文件中 增加一个参数即可: batchSize="-1" 转载于:https://www.cnblogs.com/wangmy/p/7054130.html

weixin_30455365的博客 732

OWASP 2025版AI大模型攻击安全风险汇总(攻击方法种类)

提示词注入是大模型最基础、最常见的核心漏洞,攻击者通过构造直接或间接的恶意自然语言输入,篡改大模型原本的正常行为与输出结果。哪怕这类恶意内容对人类是隐藏、不可见的,只要模型能够正常解析读取,就会触发漏洞。它和大家常说的模型“越狱”相关,但并不等同:越狱是提示词注入的极端形式,会直接让模型彻底无视所有内置安全协议,完全脱离管控;而普通提示词注入,更多是针对性篡改模型行为、诱导执行特定操作。

墨痕诉清风的博客 517

基于Simulink的智能车辆电子稳定控制(ESC)仿真

本文完成了基于 Simulink 的智能车辆电子稳定控制(ESC),实现了:✅ 构建含轮胎非线性的车辆动力学模型✅ 设计滑模横摆稳定性控制器✅ 实现四轮制动力分配逻辑✅ 验证在双移线低附着场景下的卓越稳定性✅ 为主动安全控制系统开发提供完整范式。

xiaoheshang_123的博客 79

解决Solr对Mysql做数据导入时内存溢出的问题

近日在对Mysql数据做索引的时候,由于数据量太大(百万级),所以在索引过程中经常会内存溢出,在网上上找了不少解决的办法都没有效果,BatchSize不起作用,应该是Mysql不支持Batch操作。搞的非常恼火,觉得Solr怎么对这么常见的问题都没有解决办法,实在不行就只能通过手写SQL的方式来分批导入了。     抱着最后一点期望向前辈同事请教,结果他门前也是遇到过这样的问题,自己写了一个

yuwenruli的专栏 2580

RV1126 ROS2环境交叉编译及部署(基于官方Docker)

我的所有基于`RV1126`的机器人项目都是在`Ubuntu22.04`下进行开发的,在`Ubuntu18.04 Docker`容器中实现`RV1126`的`SDK`编译,详细可参考我之前的博客[《Ubuntu20.04/22.04下Docker方案实现多平台SDK编译》第2章](https://blog.youkuaiyun.com/w1820020635/article/details/147342689),`RV1126`的`ROS1`部署没什么难度,可以参考我之前的博客,这里记录了`ROS2`交叉编译及问题解决

w1820020635的博客 1143

solr使用二(将数据从MySQL数据库增量导入、全量导入)

关于数据导入更为详细的介绍,见官方文档DataImport部分 一、创建db-data-config.xml文件 进入customData的文件夹,在customData这个core的文件夹下加新建db-data-config.xml文件 mkdir -p db/conf touch db-data-config.xml 文件内容如下: 1、配置数据源,使用的是MySQL,数...

本博客已迁移到 https://jacksparrow414.com 1661

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

solr 全量 增量 导入

好久都没,记录博客了,其实写博客,对个人还是很有必要的。 Solr做全量索引(版本 7.7.1) 目的: 将数据库中的数据全部导入solr ,能显示出来! 全量导入:一次性全导入。 增量导入:数据库中,新增的,修改的数据导入==>所以数据库中必须有一列,用来记录最后修改时间,做增量时 1.先创建core 可以在管理中心创建,也可命令行创建 管理中心: 命令行: 由于不...

qq_38966984的博客 920

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

solr mysql增量导入_Solr全量与增量导入

Solr Full Import全量导入所谓全量索引一般指的是每次从数据库中读取需要导入的全部数据,然后提交到Solr Server,最后删除指定core的所有索引数据进行重建。全量导入一般在数据首次导入或者备份数据恢复时执行。以下为一个多表查询的全量导入案例:ER图:ER图根据如上ER图,我们在数据库中执行如下SQL建表并插入测试数据。use solr;create table feature(...

weixin_30647853的博客 416

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Solr 全量更新和增量更新 配置方式

deltaImportQuery 指定的sql要求我们将满足PK的数据进行填充,需要配置在FieId中出现的属性,其作用和query类似,只不过该作用是将前面两个deltaQuery、deletedPkQuery过滤后进行了一次封装,以更新部分需更新的记录所对应的Solr的数据库索引。基于项目的特殊性,本项目将所有的文本类型记录的表全部读取进入Solr进行管理,但因文本记录的表比较多和复杂,导致了后面在使用solr自带功能增量更新时出现了问题。该配置在使用全量更新full-import显得尤为的突出;

猫步轻移,以学求知。余于此方寸之地,如猫观鼠,细察技艺所得,思维所悟。灵思如猫之警觉,日积月累,终成智海; 1480

Solr8.0速成系列 | 数据库导入索引 06

1.创建new_core 2.将example\example-DIH\solr\db下的文件 copy到/new_core下 db-data-config.xml:配置sql语句 3.导入数据jar包 3.1数据库驱动 3.2拷贝dist文件夹里的solr-dataimporthandler-8.0.0.jar 4. 打开new_core下的conf目录在solrco...

十年呵护的专栏 2083

solr数据导入

目的:将数据库中的数据导入到solr索引库中,可以全量导入也可以增量导入 1.在solr_home/core_shop_product/conf目录下的solrconfig.xml中做如下配置如图1:                                                                     (图1)

qq_33157666的博客 858

【Java】Solr | MySQL | 全量导入 | 增量导入

一、开始前,需要知道 1、Solr已经成功连接MySQL,可参考: Solr连接MySQL 2、能够通过Solr服务台对Solr进行简单操作 二、全量导入 全量导入,一般应用于初次使用时导入,特殊场景暂不考虑。 1、启动Solr服务端 2、示例图 3、全量导入,没有额外配置,比较简单 三、增量导入 增量导入,即只把新增的数据导入到Solr,需要额外配置。 1、配置文件: \solr-8.8.2\server\solr\hg-mysql\conf\d...

hgSuper的博客 478

全量导入mysql数据到solr进行索引

转载自https://blog.youkuaiyun.com/csdn_avatar_2019/article/details/89404017 1、准备 1)下载mysql驱动包:mysql-connector-java 2)将驱动包考培到solr-8.1.1/dist目录下 2、创建测试数据 -- solr测试表结构 CREATE TABLE meta_solr ( id int NO...

xiekongXK的专栏 386

Solr的增量更新和全量更新对比

Solr的增量更新和全量更新 solr的简介 solr是一个采用java语言,基于Lucene的全文搜索引擎。 solr的一些原理 solr通过数据库的数据导入到索引库中,并且给数据创建相应的索引,用来提高搜索的速度。而当数据库的数据发生改变我们需要来和数据库的数据进行同步的时候就用到了全量更新和增量更新 先来说一下全量更新 全量更新顾名思义就是全部都更新,当我们的索引库需要更新数据库数据的时候,就把数据全部拿过来进行更新同步。 使用全量更新 (注意这里—你的文件名可能会因为solr版本问题而和我的文件名

少年的博客 3897

solr学习(二)全量导入mysql数据到solr进行索引

solr版本:8.x 1.solr服务需要下载安装完毕,且可以成功访问到solr控制台。 2.安装mysql数据库,因为本机使用docker安装的mysql,省略安装过程,如有需要可参考对应的安装文章。 3.下载mysql驱动包,阿里云的maven镜像网站和mvn网站都可以搜索mysql-connector-java进行下载,我这边下载的是mysql-connector-java-8.0.1...

AVATAR 579

二、Solr 导入Sql Server 数据(全量导入)

一、准备jar包 wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/7.4.1.jre8/mssql-jdbc-7.4.1.jre8.jar cp dist/solr-dataimporthandler-8.6.3.jar server/solr-webapp/webapp/WEB-INF/lib/ cp dist/solr-dataimporthandler-extras-8.6.3.jar server/

w13511069150的博客 572

httpd 分页_将 MySQL 的全量数据以分页的形式导入到 Apache Solr 中

在 《将 MySQL 的全量数据导入到 Apache Solr 中》 文章中介绍了如何将分页导数的方法和全量导大部分配置都一样,唯一要修改的地方就是修改 db-data-config.xml 配置文件,具体如下: url="jdbc:mysql://localhost:3306/iteblog" user="root" password="xxx" />注意 select id,post_t...

weixin_39654067的博客 156

[搜索] Solr (三) 全量索引与增量索引

索引导入分全量索引与增量索引。Solr支持多种创建索引的方式。这里通过solr官方提供的一个工具的—Data Import Handler,来做数据库建立索引,DIH支持增量索引。Solr/example中有example-DIH的项目,用了hsqldb作为数据库演示了DIH的使用,可以看下

qust_2011的专栏 5847
上一篇: Solr学习总结 IK 配置中文分词器
下一篇: 关于trakcer自动退出的问题
一棵卿菜
博客等级 码龄8年 6粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值