Solr DataImport数据和实际数据相差很多【uniqueKey】

最新推荐文章于 2020-11-03 13:59:05 发布
原创 最新推荐文章于 2020-11-03 13:59:05 发布 · 463 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

本文分享了一次使用Solr 4.4进行大规模数据导入的经验。在尝试导入235万条记录时遇到了实际索引数量远低于预期的问题。通过排查发现是因为schema.xml中的uniqueKey设置不当导致数据去重，最终定位并解决了问题。

        今天将 oracle 数据库中的一份表  235万条数据 dataImport 进 solr4.4  进行索引。导入后发现。   solr提示数据全部导入成功， 但是query时候只有 70万条数据。   一直傻傻的闷了半天。。。。。。why?

 

原来是 schema.xml 的 <uniqueKey>NewsID</uniqueKey> 搞鬼。  这个设定的字段最好是表内可以代表唯一索引（主键一般是），  solr导入时候会自动去除重复值。。所以我之前设置的字段并非唯一索引。。。。

 

 

低级错误啊！！

Solr9 如何使用 DIH 读取数据库索引数据
lt5227的博客
06-20 862
DIH（Data Import Handler）提供了一种可配置的方式向 Solr 中导入数据。 从 Solr 9 开始，数据导入处理程序（DIH）已经不再直接包含在 Solr 中，而是作为一个独立的项目存在。 本文将详细介绍如何在 Solr 9 中配置和使用 DIH，包括如何设置 Solr 环境和导入数据的具体步骤。
solr 数据备份还原，导入导出
eyeofeagle的博客
04-01 3253
文章目录1, solr版本相同: backup,restore2, solr版本不同：导出/导入json 1, solr版本相同: backup,restore https://solr.apache.org/guide/8_8/collection-management.html#backup #location=/tmp/solr-export3: 该磁盘目录不需要创建 #ip:端口/solr/集合名/replication #备份 curl 'http://test-c6:8983/solr/jcse
solr分组条数对不上数据库条数
qq_28205003的博客
11-03 251
分组的字段数据注意空格，大小写
solr入门之多线程默认查询solr库的返回结果不一致问题
筑梦者
04-28 3100
今天遇到了个问题 项目中的solr的索引建立需要去查询另外一个solr的库来得到数据源 我是使用多线程默认的score排序来做的 期间多次发现查询的结果顺序不一致 刚刚开始以为是多线程操作变量导致 后来加入线程锁,现象已经存在 然后使用debug来调试,最后锁定查询solr库这个地方 发现根本就是查询的结果就是这个样子. 这里就不能使用默认的score来进行排序了. 选取一个能够
solr中的<uniqueKey>问题
一无所精，皆为所爱。
09-22 1219
在solr的schema.xml中有一个id元素。这个元素指定id的唯一性，即你建立索引时，如果add了两个具有相同id的索引，则最后加入的索引将覆盖前面的具有相同id的索引。 但是如果id是text类型，它的值是“中文”的话，solr这个自动覆盖功能并不起作用。不知道如何解决？ :oops: 但是如果把text类型改为string类型，就能解决上述问题。呵呵，只知其然不知其所以然啊。 ...
solr配置和查询时遇到的小问题
qq_40636930的博客
03-29 508
只有indexed属性设定为true的字段才是可以query的， 配置core需要更改三个文件：solrconfig.xml、data-config.xml、managed-schema， 其中，数据库连接和查询语句配置在data-config中，而对字段的是否建立索引则是配置在managed-schema文件中， 还有一个坑在于，solr admin在dataimport时报错 并不代表数据...
hbase跑数到solr时数据对不上一些简单总结
后知后觉的it路
04-07 424
    工作中，需要将hbase数据跑到solr里做部分字段索引，目前出现过两种情况：   1 假设hbase有100条， 跑到solr里是70条   2 假设hbase有100条，跑完job后mr显示 reduce input输出个数是100，但是在solr界面查询时，    报错，包什么字段 XX not found之类 ，但是看solr对应的索引库的schema.xml根本没...
solrcloud5_多数据源导入成功的例子
08-25
### SolrCloud 5 多数据源导入案例...完成以上配置后，可以通过访问Solr服务器上的`/dataimport`端点来触发数据导入过程。例如： - 导入教师数据：`http://localhost:8983/solr/collection1/dataimport?command=full-...
solr5.3.1 导入mysql数据
04-23
总之，将 MySQL 数据导入 Solr 5.3.1 需要正确配置 Schema.xml 和 DataConfig.xml，然后利用 DataImportHandler 完成数据迁移。这一过程对于构建高效、可扩展的全文搜索引擎至关重要。通过熟练掌握这些知识，可以...
全文索引----配置solr数据源
天道酬勤 地道酬善 人道酬诚
04-30 1万+
          上篇文章我们介绍了solrJ工具，本篇文章我们介绍solr的数据源。我们使用solr作为全文索引的服务器，那么必须要为solr提供数据源，小编solr服务器总结了三种数据来源，分别是：使用命令提供数据源、solrJ提供数据源和配置文件配置数据源，下边分别介绍着三种方式。 一 使用命令配置数据源     1 环境     本文以linux环境作为示例介绍此功能，操作环境cent...
solr的unique-key的fieldtype必须为string类型
eric_wyf的专栏
08-09 973
今天发现了一个以前没有注意的问题，solr的schema.xml配置文件中，unique-key的field必须是string类型，否则会报错。 org.apache.solr.common.SolrException: QueryElevationComponent requires the schema to have a uniqueKeyField implemented using S...
solr5.3 如何配置使用UUID解决id覆盖问题
段宜恩的博客
02-21 3577
在做多表的联合查询时，由于我数据库中表的id有重复，所以在查询结果的时候发生了索引覆盖的事。然后用uuid自动生成这个唯一的ID解决这个问题。（防止id被覆盖） 1.修改schema.xml文件的配置 添加fieldType   添加uuid字段配置 或者在原来的id字段的基础上进行修改 将uuid设置uniqueKey uuid 2.修改sol
solr8之Dataimport数据导入相关问题及教程
only1475813080的博客
04-02 3525
此教程是与前两个教程相连接的，如果您没有用小白的前两个教程进行配置，导致出错可不能怪小白的教程有问题喔。 1.导包 在配置核的文件夹下，新建一个lib文件夹，然后把D:\Solr\solr-8.5.0\dist中的两个包复制到D:\Solr\solrhome\collection1\lib，数据到的包就有了，因为小白是将数据库中的数据导入到solr6，所以还需要一个数据库连接包。（此包就不提供...
关于solr中data-config.xml里面的各种Query的执行过程的学习
wangxiaolongbob的专栏
01-25 5009
如有转载，请注明出处，谢谢合作！            solr中的data-config.xml这个配置文件大家都知道，但是我对其中query,deltaQuery,parentDeltaQuery,deletedPkQuery的执行过程有点迷惑，所以自己探索学习了一下，我先说自己得出来的结论（其中关于deletedPkQuery是怎么执行的任然不解），然后说明得出结论的方法。
solr分片后副本数据不一致的问题
热门推荐
zhaojianting的博客
10-18 1万+
概述：solr支持单机和cloud两种运行模式，在cloud模式，会出现同一个查询条件数据不一致的问题，这其实就是分布式系统数据一致性问题，根据Eric Brewer教授的CAP定理，一个布式系统不可能同时满足一致性（C：Consistency）、可用性（A：Availability）和分区容错性（P：Partition tolerance）这三个基本需求，最多只能满足其中两项。因为solr在分布
Solr搜索引擎之数据的导入(dataImport)
C8WATER
10-14 1313
环境: 1) apache-tomcat-8.5.32-windows-x86.zip 2) solr-5.5.0.zip 3) jdk-7u80-windows-i586.exe 配置文件+jar包: 放至: data-config.xml: &lt;?xml version="1.0" encoding="UTF-8" ?&gt; &lt;dataConfig&...
普通索引转唯一索引，数据重复问题解决
ZHL's Blog
11-30 8105
1、前言 在数据库的设计的时候经常会遇到这种问题，建立了普通索引想转唯一索引，但是数据库有重复数据了。而且数据不好找和删除。这个时候怎么办呢？ 2、纯SQL解决 这里给一个例子： 表 student 其数据结构如下： id name grade score 1 zhanghanlun 1 2 2 zhanghanlun 1 3 3 chengwenxiu 1 0 在这个...
理解Solr缓存及如何设置缓存大小
huanghai的专栏
04-25 5634
文献地址：http://wangdg.com/understanding-and-tuning-solr-cache/ 理解Solr缓存及如何设置缓存大小 为了得到最好的检索性能，Solr会在内存中缓存不同的数据： Result Set: 检索结果Filter: filter query结果Document Field: 文档的字段值 所以随后类似的检索可以被快速处理。
Solr7.3.1导入数据库数据
何必为部分生活而哭泣，君不见全部的人生都让人潸然泪下
11-30 700
1.解压solr-7.3.1.zip到F:盘 solr-7.3.1\server\solr\configsets_default 2.在命令行进入F:\solr-7.3.1\bin，然后启动solr ./solr.cmd start 3.在F:\solr-7.3.1\server\solr下新建core1文件夹，并复制F:\solr-7.3.1\server\solr\configsets\...
Maven搭建Solr4.2及DataImport源码环境指南
整合 solr-data-import 的源码环境，允许开发者修改数据导入工具的源代码，从而更好地与数据源交互和处理数据。 在整合 solr-data-import 的过程中，可能需要在 pom.xml 文件中添加额外的依赖配置，以便能够构建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值