Solrj实时更新遇到数据变化的问题

本文详细探讨了电子商务环境下实时更新索引的重要性,并深入分析了使用SolrJ进行实时索引时遇到的问题。特别是,在10分钟全量索引周期内频繁执行实时索引commit操作后,系统会将备份数据转移至主索引文件,导致后续commit操作覆盖原有数据,从而引发数据累积现象。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

系统原来没有做索引的实时更新,而是采用脚本10min中全量索引一遍,由于做的是电子商务,需要做实时更新功能;

实时更新部分使用的是

SolrInputDocument sid = new SolrInputDocument();

sid.addFiled();

sid.commit();

系统上线之后,发现数据在不停的变化;

可是solrj的机制是更新完索引才会从备份中转移到主文件当中;

后来发现当10min全量索引时候,并且执行多次实时索引commit()的时候,solrj会认为你的索引已经更新完成

把备份读取到主索引文件中,后一次commit()会覆盖掉原有的commit();每次commoti();后索引文件都会发生变化

因此,10min内看到的数据会一次比一次多!


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值