solr全文检索(第三篇 数据导入)--源自技术

Solr全文检索技术 Solr全文检索技术。 阅读详情

大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入。

他可以实现

能够读取关系数据库中的数据。  
通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档    
能够通过solr文档更新solr  
提供通过配置文件就能够导入所有数据的能力  
能够发现并处理 由insert、update带来的变化(我们假定在表中有一个叫做“last-modified的列”)  
能够配置"完全导入"和"增量导入"的时间  
让读取xml文件,并建立索引成为可配置。  
能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。 


这个 Handler首先要在solrconfig.xml文件中配置下,如下所示。

  1. <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">    
  2.     <lst name="defaults">    
  3.       <str name="config">/home/username/data-config.xml</str>          
  4.     </lst>    
  5.   </requestHandler>    

从它的名字上,我们或许也可以猜到,  
DataImportHandler正是requestHandler的实现。我们一共需要在两个地方配置文件中进行一些配置。  
solrconfig.xml 。 data-config.xml必须在这个文件中配置,datasource也可以。不过,一般将datasource放在data- config.xml文件中。 

下面几个步骤是必要的.  
1.定义一个data-config.xml 文件,并这个它的路径配置到solrconfig.xml中关于DataImportHandler的配置中。给出Connection的信息(假设你选择在solrconfig中配置datasource)  

  1. <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>    
属性type 指定了实现的类型。它是可选的。默认的实现是JdbcDataSource。 
一个配置文件可以配置多个数据源。增加一个dataSource元素就可以增加一个数据源了。name属性可以区分不同的数据源。如果配 置了多于一个的数据源,那么要注意将name配置成唯一的。 

例如:

  1. <dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>    
  2. <dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>    
然后这样使用 :
  1. <entity name="one" dataSource="ds-1" ...>    
  2. ..  
  3. </entity>    

2.打开DataImportHandler页面去验证,是否该配置的都配置好了。http://localhost:8983/solr/dataimport 

2.1.使用“完全导入”命令将数据从数据库中导出,并提交给solr建立索引  

http://localhost:8983/solr/dataimport?command=full-import
2.2.使用“增量导入”命令对数据库发生的变化的数据导出,并提交给solr建立索引。

http://localhost:8983/solr/dataimport?command=delta-import

参考:

http://cpf1985.iteye.com/blog/1074425
全文检索引擎Solr系列——入门篇 Solr采用Lucene搜索库为核心,提供全文索引和搜索开源企业平台,提供REST的HTTP/XML和JSON的API,如果你是Solr新手,那么就和我一起来入门吧!本教程以solr4.8作为测试环境,jdk版本需要1.7及以上版本。 准备 本文假设你对Java有初中级以上水平,因此不再介绍Java相关环境的配置。下载解压缩solr,在example目录有start.jar文件,启 阅读详情

相关推荐

solr 数据迁移工具

使用多线程方式 通过solrj 接口向solr新增索引信息

SOLR数据导入和导出

1、solr中的类型修改导致solr的core无法加载,只能删除core,重新创建。但是solr中的数据,只能从core心中导出,在导入新建的核心中。2、试了几种方案,还是通过第三方freedev / solr-import-export-json的组件更加灵活。3、其中几种方案也做了试错。

青语的博客 1072

别再手动挂载NPU了!手把手教你用Ascend-Docker-Runtime一键启动昇腾AI容器

本文详细介绍了如何使用Ascend-Docker-Runtime一键启动昇腾AI容器,大幅简化NPU设备挂载流程。通过环境变量ASCEND_VISIBLE_DEVICES,开发者可以灵活指定NPU设备,提升开发效率。文章还提供了安装配置指南、高级使用技巧和常见问题排查方法,帮助开发者快速掌握这一高效工具。

weixin_42662605的博客 253

Solr基础:导入数据

Solr基础:导入数据

u012632105的博客 560

DC-DC 转换器中的压电谐振器:当前状态和限制

在功率转换器应用中,居里温度较低的谐振器的 k 2和 Q M显着降低会导致效率降低,需要仔细的热处理。由于使用 PR 的功率转换器在不同的条件下运行,包括温度范围、电压偏置和功率电平,因此不可避免地会出现非线性效应,必须妥善解决这一问题,以免影响转换器的性能。等效电路模型(Butterworth Van-Dyke 或 BVD 模型)将压电谐振器在其机械谐振附近的电响应转换为一个简单电路,该电路由与由电极形成的输入电容 C 0并联的串联 RLC 动分支组成,见图图 1 还显示了阻抗与频率的关系。

2301_79716471的博客 1299

Unity安卓打包实战:SDK与JDK配置全攻略

本文详细介绍了Unity安卓打包过程中SDK与JDK的配置方法,包括工具下载、安装步骤、环境变量设置及常见错误排查。通过实战指南帮助开发者快速完成Unity安卓打包环境搭建,提升开发效率。

weixin_30338481的博客 419

solr控制台导出csv或者json数据

solr导出csv,json数据

yangyang_VV的博客 1277

syslog RFC5424协议详解

RFC5424协议解读与报文分析。

chenwr2018的博客 6690

6.Solr配置DataImport导入索引数据、IK分词查询

DataImportHandler就是提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入,还可以声明式提供可配置的任务调度,让数据定时的从关系型数据库更新数据到solr服务器

相互学习 共同进步 900

TC397 EB MCAL开发从0开始系列 之 [13.1] Dma配置实战 -实现M2M数据传输(读存储写存储)

TC3XX TC397 MCAL DMA 从0搭建测试用例-实现M2M 存储到存储数据传输

yy九歌的博客 1914

Codex入门19-数据库操作(解放双手:用自然语言写SQL、建表和数据迁移)

写 SQL 是后端开发的日常,但复杂的 JOIN、子查询、窗口函数总让人头疼。本文教你用 Codex CLI 实现:自然语言直接生成 CREATE TABLE、复杂 SQL 查询、数据库迁移脚本(Prisma/Knex/Alembic)、ORM 模型代码(SQLAlchemy/TypeORM)、甚至自动生成数据库文档。重点强调安全红线——永远不要让 AI 直接连接生产数据库。从需求描述到完整数据库层代码,一篇搞定。

yueyeguzhuo的专栏 234

Solr中如何进行数据的导入和索引?

在Solr中,数据的导入和索引是构建搜索应用的关键步骤。Solr提供了多种方法来导入数据并创建索引,包括直接通过API提交数据、使用DataImportHandler (DIH) 从外部数据源导入数据,以及通过命令行工具等。

qq_33240556的博客 863

100天精通Oracle-实战系列(第33天)RHEL 7 安装 Oracle 12CR2 RAC 数据库

100天精通Oracle-实战系列(第33天)RHEL 7 安装 Oracle 12CR2 RAC 数据库

LuciferLiu_DBA 3451

全文检索技术—Solr

Solr是Apache组织出品的,一个全文检索引擎系统. Solr作用: solr放在tomcat下就能独立运行,因为它是一个现成的系统. 它通过http对外提供全文检索服务,(对索引和文档的增删改查), 它内部提供通过浏览器就能访问的维护界面. 我们如果在企业中开发, 使用它的客户端工具solrJ(就是一个jar包) ,来远程调用solr服务端,服务端对索引库和文档库操作。 ...

大数据同盟会的博客 1万+

YOLO11改进策略【独家融合改进】| EfficientViMBlock + LGAG + DySample

通过学习采样来学习上采样DySample。

Limiiiing的博客 363

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

solr进阶三:从数据库中导入数据到solr

要建立自己的全文检索,一般都需要从数据库导入数据,在原来配置的基础上,增加导入的功能,这里以mysql为例子: 在solr的工作目录中选择一个core,我这里选择core1。进入配置文件夹:solr_tomcat\solr\core1\conf 。在solrconfig.xml中添加如下代码: data-config.xml 在同

小新新的专栏 6659

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

solr中文全文检索

其实简单的说,Solr是一个基于Apache Lucene 项目的开源企业级搜索平台,是用JAVA编写的、运行在Servlet容器中的一个独立的全文搜索服务器(换句话说就是个JAVA-WEB APP),并具有类似REST的HTTP/XML和JSON的API。 主要功能包括全文检索,高亮命中,分面搜索(faceted search),近实时索引,动态集群,数据库集成,富文本索引,空间搜索;通过提供分布

国苏 2129

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

java实现solr全文检索_Solr全文检索引擎配置及使用方法

介绍Solr是一款开源的全文检索引擎,基于lucene。拥有完善的可配置功能界面。具有丰富的查询语言,可扩展,可优化。下载安装进入solr官网下载包(这里我使用的版本是8.0)启动Solr命令行进入solr的bin目录,提示Started Solr server on port 8983. Happy searching!即成功启动服务。常用命令solr start -p 端口号  启动服务sol...

weixin_32063287的博客 1140

【Solr】全文检索框架

Solr的简介和原理、Solr的安装、IK中文分词器、使用solrj操作solr和使用spring data solr操作solr等。

Cami_xiao的博客 788

Solr全文检索

什么是solr: solr是一个apache的全文检索引擎系统, 就是个war包, 部署到Tomcat下就可以独立运行, 我们使用它的客户端工具包 solrj 来远程调用solr服务器, 完成对索引库的操作(对索引库的添加修改删除, 查询) solr底层使用lucene编写。 Lucene是一个全文检索引擎工具包,它不是一个完整的全文检索应用 而Solr的目标是打造一款企业级的搜索引擎系统 s...

Rhin0cer0s的博客 545

springboot+solr 全文检索

1.把 solr-8.1.1.tgz 传到服务器 //把文件传到 /usr/local 目录下 cd /usr/local 2.解压 solr tar -xzf solr-8.1.1.tgz 3.启动 solr cd /usr/local/solr-8.1.1 # 不建议使用管理员启动 solr,加 -force 强制启动 bin/solr start -force # 开放 8983 端口 firewall-cmd --zone=public --add-port=8983/tcp --perma

weixin_49985669的博客 861

solr全文检索(第二篇 solr的实例)--源自技术

这里我使用的数据库是MySQL,首先集成MySQL 1.创建表 [sql] view plain copy -- ----------------------------  -- Table structure for `documents`  -- ----------------------------  DROP TABLE IF EXISTS `docume

MyJava_Dx的博客 435

全文检索 solr

全文检索 solr 课程计划 电商搜索案例分析 Solr的安装及配置 Solr整合tomcat Solr后台管理功能介绍 配置中文分析器 使用Solr的后台管理索引库 添加文档 删除文档 修改文档 查询文档 使用SolrJ管理索引库 添加文档 修改文档 删除文档 查询文档 电商搜索案例实现 案例分析 案例实现 1 什么是solr? ​ Solr 是 Apache 下的一个顶级开源项目,采用 Java 开发,它是基于Lucene的全文搜索服务器,Solr 提供了比Lu

weixin_35994859的博客 778

mysql solr导入_Solr导入MySQL数据

Solr导入MySQL数据1. 数据库准备数据库需要开启远程访问权限mysql 5 或 mariadb方式grant all on *.* to 'root'@'%' identified by '你的密码';oracle mysql 8方式create user 'root'@'%' identified by '你的密码';grant all privileges on *.* to 'roo...

weixin_29073241的博客 413

java全文检索技术_Java学习之——Solr

一、 Solr 介绍1 全文检索什么叫做全文检索呢?这要从我们生活中的数据说起。我们生活中的数据总体分为两种:结构化数据和非结构化数据。 1)结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。 2)非结构化数据:指不定长或无固定格式的数据,如邮件,word 文档等。非结构化数据又一种叫法叫全文数据。按照数据的分类,搜索也分为两种: 1)对结构化数据的搜索:如对数据库的搜索,用 SQL...

weixin_39878745的博客 876

全文检索es与Solr、Restful架构

全文检索技术、es与solr的区别、Restful

一个喜欢诗和远方的程序媛 2124
上一篇: solr全文检索(第二篇 solr的实例)--源自技术
下一篇: Solr4 + Jcseg(分词器) 安装配置--源自技术
MyJava_Dx
博客等级 码龄11年 1粉丝 32原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值