SOLR数据导入和导出

solr 数据备份还原,导入导出 文章目录1, solr版本相同: backup,restore2, solr版本不同:导出/导入json 1, solr版本相同: backup,restore https://solr.apache.org/guide/8_8/collection-management.html#backup #location=/tmp/solr-export3: 该磁盘目录不需要创建 #ip:端口/solr/集合名/replication #备份 curl 'http://test-c6:8983/solr/jcse 阅读详情

情景

1、solr中的类型修改导致solr的core无法加载,只能删除core,重新创建。但是solr中的数据,只能从core心中导出,在导入新建的核心中。
2、试了几种方案,还是通过第三方freedev / solr-import-export-json的组件更加灵活。
3、其中几种方案也做了试错

  1. backup,restore方式,速度很快,其实就是复制索引文件到其他地方,但是无法还原到其他核心。
  2. solr cloud ,单体solr报错,无法使用cloud方式保存。可以将导出的数据导入到其他核心。
  3. solr-import-export-json方式,基于数据导入导出,灵活(需要下载第三方组件包solr-import-export-1.0.jar)。

步骤

  1. 导出
java -jar solr-import-export-1.0.jar -a export -s  http://127.0.0.1:8983/solr/核心 -o solr.json 
  1. 导入
java -jar solr-import-export-1.0.jar -a import -s  http://127.0.0.1:8983/solr/new_core -o solr.json
  1. 参数解释
myapp [-a <arg>] [-b <arg>] [-C] [-c <arg>] [-d] [-D] [-f <arg>] [-F <arg>] [-h] [-i <arg>] [-k <arg>] [-o <arg>] [-p <arg>] [-s <arg>] [-S <arg>] [-u <arg>] [-x <arg>]
solr-import-export-json

 -a,--actionType <arg>           操作类型
                                 [import|export|backup|restore]
 -b,--blockSize <arg>            块大小(默认5000条文档)
 -C,--disableCursors             禁用Solr读取时的游标
 -c,--commitDuringImport <arg>   在指定数量的文档后提交进度。如果不指定,则整个工作将在完成后提交。
 -d,--deleteAll                  导入前删除所有文档
 -D,--dryRun                     干运行测试
 -f,--filterQuery <arg>          导出时的过滤查询
 -F,--dateTimeFormat <arg>       设置自定义日期时间格式(默认yyyy-MM-dd'T'HH:mm:ss.SSS'Z')
 -h,--help                       帮助
 -i,--includeFields <arg>        导出时使用的简单逗号分隔字段列表。如果不指定,将使用所有存在的字段
 -k,--uniqueKey <arg>            深度分页时指定唯一键
 -o,--output <arg>               输出文件
 -p,--password <arg>             基本认证密码
 -s,--solrUrl <arg>              Solr URL - 
                                 http://localhost:8983/solr/collection_name
 -S,--skipFields <arg>           导入导出时跳过的逗号分隔字段列表。接受每个字段前缀/后缀通配符*。所以您可以指定跳过所有以name_开头的字段
 -u,--user <arg>                 基本认证用户名
 -x,--skipCount <arg>            加载文件时要跳过的文档数。当出现错误时很有用,以便从上次成功保存的位置继续加载。

参考

感谢大佬的文章

Solr导入CSV文件 数据准备首先得准备好一份csv文件,这份文件可以是手动生成,也可以是从数据库中导出来的。参见PostgreSQL导入导出数据 ,将Postgres中的表导出为csv文件。数据上传上传csv文件示例,curl http://solr-server:8983/solr/your-collection/update/csv --data-binary @your-csv.csv -H 'Content-t 阅读详情

相关推荐

solr 数据迁移工具

使用多线程方式 通过solrj 接口向solr新增索引信息

solr控制台导出csv或者json数据

solr导出csv,json数据

yangyang_VV的博客 1277

solrdump:使用光标有效地导出SOLR文档

自述文件 从SOLR索引将文档快速,简单地从命令行导出为JSON。 向SOLR请求大量文档可能会导致深度分页问题: 当您希望从Solr中获取大量排序结果以馈入外部系统时,对于start或rows参数使用非常大的值可能会非常低效。 另请参阅:获取大量已排序的结果:游标 作为增加“开始”参数以请求排序结果的后续页面的一种替代方法,Solr支持使用“游标”来扫描结果。 Solr中的游标是一个逻辑概念,它不涉及在服务器上缓存任何状态信息。 取而代之的是,返回给客户端的最后一个文档的排序值用于计算“标记”,该“标记”表示排序值的有序空间中的逻辑点。 要求 SOLR 4.7或更高版本,因为SOLR 4.7( )引入了游标机制-另请参见。 该项目是为。 安装 通过debian或rpm。 或通过go工具: $ go get github.com/ubleipzig/solrdump/...

搜索引擎系列Solr:配置数据源导数据

搜索引擎系列Solr:配置数据源导数据

CancerKing的博客 647

solr 全量数据迁移

solr服务开启、停止、重启: cd到solr的bin目录 ./solr start | restart | stop -force ./solr start -p 9923 -force ./solr stop -p 9923 -force ./solr restart -p 9923 -force solr 更改端口的方法: https://blog.youkuaiyun.com/faryang/article/details/52852446 https://www.cnblogs.com/Lxiaojiang/p/6737323.html solr 全量数据迁移方法:(数据结构及数据全部迁移出来了

避开内存陷阱:手把手教你用RKNN零拷贝接口正确管理输入输出Tensor

本文深入解析RKNN零拷贝接口在边缘计算中的高效内存管理策略,通过YOLOX实例演示如何避免内存对齐错误和数据错位。详细介绍了`rknn_tensor_mem`系列API的正确使用方法,包括内存创建、绑定、释放全流程,以及性能优化技巧如内存池技术和多核NPU负载均衡,帮助开发者提升推理效率并避开常见陷阱。

weixin_33686714的博客 160

CentOS7上导出solr数据到json文件中 及 solr如何添加、删除、查询数据

一 Centos7 上导出solr数据到json文件中 开发需要,solr的数据需要导出来,放到另一套架构中,那么怎么将solr数据导出,放入json文件中?   导出solr数据,我们需要借助github上的一个maven项目。 1 安装工具: [root@solr1 local]# git clone https://github.com/freedev/solr-import-e...

wudinaniya的博客 2264

矩阵束(Matrix Pencil)入门:从通信系统到控制理论,它为何是建模利器?

本文深入探讨矩阵束(Matrix Pencil)在通信系统与控制理论中的关键作用,揭示其作为复杂系统建模利器的独特价值。从MIMO系统的多径干扰分析到电力系统稳定性判据,矩阵束通过`A-λB`方程求解提供精准建模方案,显著提升5G通信和工业控制等领域的性能表现。

weixin_30134145的博客 358

Solr使用入门指南

本文转自 http://chuanliang2007.spaces.live.com/blog/cns!E5B7AB2851A4C9D2!499.entry?wa=wsignin1.0   由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求,目前在实现搜索引擎的方案上有集中方案可供选择: 1. 基于Lucene自己进行封装实现站内搜索。工作

Wave的专栏 1051

Vscode + QT + CMake:高效开发环境搭建全攻略

本文详细介绍了如何搭建Vscode+QT+CMake高效开发环境,涵盖环境安装、配置优化及项目创建全流程。通过整合Vscode的轻量化编辑、QT的跨平台GUI开发以及CMake的现代构建管理,该组合特别适合大型QT项目和跨平台开发团队,能显著提升开发效率。

weixin_30338481的博客 504

电赛经验分享——赛前准备

⏩ 大家好哇!我是小光,想要成为系统架构师的嵌入式爱好者。⏩在之前的电赛中取得了省一的成绩,本文对电赛比赛前需要准备什么做一个经验分享。加入小光嵌入式交流群(qq群号:737327353)免费获取博主所有资料哦!

qq_52608074的博客 7779

hbase学习

1. HBase应用:Table设计     http://blog.youkuaiyun.com/yfkiss/article/details/26380467   2.HBase表设计案例 http://www.56.com/u94/v_MTIxOTc2NzA3.html   3.md5加密 http://blog.sina.com.cn/s/blog_3ff4e1ad0100u4aq....

gjq2267787274的专栏 333

谷歌倾斜摄影数据获取以及转换3DTiles介绍

解析谷歌倾斜模型数据,再一键设置无人值守的情况下,快速将谷歌倾斜摄影模型数据转成3DTiles数据,并在Cesium上进行流畅漫游缩放显示,效果优于官方3DTiiles格式数据

cyber_room的博客 5335

solr数据导出导入

导出 http://172.21.20.206:8983/solr/ejavashopcore/select?q=*:*&wt=csv&rows=100000&start=0 wt=格式(csv、json) rows=100000&start=0 分页

qq_35338042的博客 1740

GDB交叉编译与问题解决:从零到精通的深度指南

完成后,GDB会安装到/usr/local/gdb-aarch64/bin,可以用aarch64-linux-gnu-gdb --version检查。:得有支持目标架构的交叉编译工具链,比如gcc-arm-none-eabi(用于ARM裸机)或aarch64-linux-gnu-gcc(用于ARM Linux)。:在配置工具链时,运行aarch64-linux-gnu-gcc --version检查版本,确保工具链没问题。这种场景下用GDB调试,就像在荒野求生,但别慌,GDB依然是你的好伙伴。

大模型大数据攻城狮的专栏 1万+

Windows原生与WSL2环境下OpenClaw性能与兼容性的对比分析研究

本文对比分析了Windows原生环境与WSL2环境下运行OpenClaw的性能与兼容性。Windows原生环境提供深度系统集成、图形界面支持和硬件加速优势,适合需要Windows生态集成的用户;WSL2则提供接近原生Linux的性能体验,兼容Linux工具链,适合开发者和跨平台需求。文章详细介绍了两种环境下的推荐硬件配置、系统版本选择及必备工具,并提供了具体的部署步骤指南。研究表明,两种环境各有适用场景,用户可根据需求选择最适合的部署方式。

一键难忘的博客 1217

不能从服务器上获取视频文件格式,视频从云服务器获取视频文件格式

视频从云服务器获取视频文件格式 内容精选换一换您需要提前准备好符合条件的镜像文件,并了解操作系统的已知问题(参见已知问题)。表1中,文件系统、网络、驱动相关的配置需要在虚拟机内部完成,强烈建议您在原平台的虚拟机实施修改后,再导出镜像文件。当然,您也可以使用弹性云服务器完成这些配置,具体操作请参见“Linux外部镜像文件在导出前未完成初始化配置,怎么办?”。大文件导入(不超过1TB)目华为云帮助中心...

weixin_30385221的博客 174

【经验&技巧】如何在ADS中导入示波器的时域波形?

从示波器中导出的时域波形数据,需要按照固定的格式进行修改,并通过Display dataset对话框导入ADS。

一只豌豆象的博客 1571

solr导入数据

大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置 的方式向solr导入数据,可以一次全部导入,也可以增量导入。 概览 目 标      能够读取关系数据库中的数据。

千里之行 始于足下 1118

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

sqoop导出solr数据_solr连接数据库导入数据

本文简单讲诉 solr建立全文索引,从数据库导入数据,生成索引文件,本文建立在已经搭建好solr应用的情况下,如要了解如何部署solr服务可先看上一文:solr 安装环境:jdk 7,solr4.10.1 ,tomcat 71,首先在solrconfig.xml中引入dataimport 路径 : E:\solr\example\solr\collection1\confdata-config.x...

weixin_39629947的博客 159

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

sqoop导出solr数据_(五) solr 索引数据导入:csv格式

有时候我们有一些通过SQL导出的csv格式的文件如果需要导入到slor,可以采用以下的方法首先假定我们的schema.xml如下所示:我们的csv(books.csv)文件的内容如下:id;name;isbn;description;publish_date1;Solr cookbook;ABC123456;"Solr Cookbook";2011-062;Some book 1;JHDS8712...

weixin_39862847的博客 285

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

solr导入数据库表数据

solr 除了能查询文档中的数据外, 还可以导入数据库中的数据. 也就是说, solr 能查询其他数据库中的数据(solr本身也是一个数据库, 非关系型的). 那接下来就试一下导入mysql数据库中的数据. 一. 准备工作 在solr_core下面新建lib文件夹. 然后将以下jar包拷贝进去 修改 solrconfig.xml 文件 在文档的底部加入: 在同级目录下, 新建 data-c...

yuanl6868的博客 1397

Solr-导入MySQL数据

一、jar包 1、dataimport相关jar包 将E:\solr-7.7.2\dist目录下图jar包复制到E:\solr-7.7.2\server\solr-webapp\webapp\WEB-INF\lib目录下 2、MySQL相关jar包 下载地址https://search.maven.org/search?q=mysql-connector mysql-connector-java...

zym_1321的博客 394

solr导入mysql_solr入门-导入MySQL数据

际项目中,我们需要把已存在于数据库中的数据导入到假设我们数据名叫database,数据表叫user,user里面有字段id、name、password;你的1、进入你的core(如collection1),新建一个目录lib。2、拷贝mysql-connector-java-5.1.14.jar到新建的lib目录中。3、从solr的解压文件目录中找到“/example/example-DIH/so...

weixin_39849888的博客 278

sqoop导出solr数据_Solr4.7从数据库导数据

实际工程应用中,从数据库导出数据创建索引再常见不过了,现在实验一下从数据库导入数据创建索引。一、版本说明Solr版本:4.7.0数据库:sqlserver2005二、配置步骤1、 准备的jar包1) solr-dataimporthandler-extras-4.7.0.jar;在solr发布包solr-4.7.0\dist里面有2) solr-dataimporthandler-4.7.0...

weixin_39739846的博客 229

Solr DataImportHandler 之一 关系数据库批量和增量导数据

Description:     大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入。      概览        目标     能够读取关系数据库中的数据。     通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档       能够通过solr文档更新solr     提供 通过配置文件就能够导入所有数据的能力      能够发现并处理由

每天=生命的最后一天 5957
上一篇: 关于老iPad 能够重新使用经过的一些列折腾
下一篇: 记录一次服务器一直向外发送大量请求(挖矿病毒)排除
贝多芬也爱敲代码
博客等级 码龄8年 218粉丝 142原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贝多芬也爱敲代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值