【Solr现网问题】索引文档数量超限

最新推荐文章于 2023-06-25 20:05:35 发布

置顶

小肥马

最新推荐文章于 2023-06-25 20:05:35 发布

阅读量1.7w

点赞数

CC 4.0 BY-SA版权

分类专栏： Solr 文章标签： Solr IndexWriter 索引文档超限

本文链接：https://blog.youkuaiyun.com/weixin_42257250/article/details/88015926

当Solr中的单个shard索引达到约21亿文档限制时，会出现索引超限问题。通过修改Lucene源码，将限制提升至30亿并重新编译，然后在服务器空闲时进行split shard操作。为了避免风险，替换生产环境jar包需谨慎，建议对索引状态进行监控和预警，及时分裂。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概念解释

Too many documents具体是指什么？索引数？索引文档数？

异常信息

在splitShard时，报错如下：

Caused by: org.apache.lucene.index.CorruptIndexException: Too many documents: an index cannot exceed 2147483519 but readers have total maxDoc=2147483529 
	at org.apache.lucene.index.BaseCompositeReader.<init>(BaseCompositeReader.java:83)
	at org.apache.lucene.index.DirectoryReader.<init>(DirectoryReader.java:342)
	at org.apache.lucene.index.StandardDirectoryReader.<init>(StandardDirectoryReader.java:45)
	at org.apache.lucene.index.StandardDirectoryReader.open(StandardDirectoryReader.java:120)
	at org.apache.lucene.index.IndexWriter.getReader(IndexWriter.java:460)
	at org.apache.lucene.index.StandardDirectoryReader.doOpenFromWriter(StandardDirectoryReader.java:291)
	at org.apache.lucene.index.StandardDirectoryReader.doOpenIfChanged(StandardDirectoryReader.java:276)
	at org.apache.lucene.index.DirectoryReader.openIfChanged(Directo