SolrCloud中的SolrCore报“exceeded limit of maxWarmingSearchers=2"问题怎么解决

最新推荐文章于 2021-06-13 15:32:27 发布
最新推荐文章于 2021-06-13 15:32:27 发布
阅读量416 收藏
点赞数
分类专栏： solr 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_3893/article/details/82650170
版权
本文探讨了在使用多线程向SolrCloud的SolrCore导入大量数据时遇到的“Error opening new searcher”错误。通过调整solrconfig.xml中的maxWarmingSearchers参数来解决该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 

 

请教个问题，我们是多线程往SolrCloud中的某个SolrCore导入数据，但是有时会出现“Error opening new searcher. exceeded limit of maxWarmingSearchers=2”这个错误，这个错误就会导致我们在SolrCloud上点击某个SolrCore的话，请求一直在等待，最后报页面无法打开，请问这个问题怎么解决呢？

 

 

 

文件更新和提交的速度太快，可以根据Solr所在服务器的CPU和内存，将solrconfig.xml中的maxWarmingSearchers参数调大一点！

 
在工作中，我用mapreduce代码将hbase数据写到solr单节点，以A索引库为例，如果数据量达到1KW级别以上，基本都会出现 exceeded limit of maxWarmingSearchers=2的问题，
 
处理方式：  进入A索引库 eg: hbase_f_zizp_info_index_tbs\conf\solrconfig.xml
修改 <maxWarmingSearchers>3</maxWarmingSearchers> 变大一点。不过看注释单节点下最好是2个，
我修改为3-4个跑数时也没出现过异常， 附件一点， 即使报上面的错，mapreduce job也会在reduce的时候
在报错后回退到报错前的百分比，然后重新尝试执行，基本尝试1-2次后能够正常执行完毕，
目前操作了21个接口，数据量从几十万条到几千万到上亿条，都没有出现数据丢失现象。
解决 Spring Cloud GateWay报错：Exceeded limit on max bytes to buffer : 262144
weixin_42118323的博客
06-05 1277
如果有经验的小伙伴很容易就排查出问题，通过每页 10 条数据可以正常返回，切换到每页 20 条数据的时候出异常，很容易判定代业务代码是没有问题的，如果业务代码有问题，那每页 10 条的时候也不能正常返回了，那既然业务代码没有问题，就是底层框架的问题了，因为我之前遇到过这个问题，当这个问题反馈到我这的时候，我就知道是 GateWay 的问题了，这个问题的本质原因就是接口返回参数 json 包过大，超过了 GateWay 的默认内存缓冲区262144字节导致的。调整到50 、100、500，这又该怎么办?
GC overhead limit exceeded问题解决
热门推荐
tttalk的博客
08-09 1万+
最终结果：16（id）+ 24（create_time）+ 24（modify_time）+ 48（name）+16（age）+88（address）+ 40（height）+ 40（weight）+ 64（phone）= 360字节。一个字符占2个字节。是因为在Java虚拟机中，对象的内存布局是按照一定的规则进行排列的，这种排列方式叫做对象对齐，它的占用内存一般为8个字节的整数倍。但是，请注意，这还没有包括Java对象头的开销，也没有考虑JVM的内存对齐要求（即对象大小可能需要是8的倍数）。
Error opening new searcher. exceeded limit of maxWarmingSearchers=2, try again later.
后起秀厚勃发
09-01 607
org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at http://XXXXXXX/solr/XXXX_shard1_replica1: Error opening new searcher. exceeded limit of maxWarmingSearchers=2
[Bugfix]Error opening new searcher. exceeded limit of maxWarmingSearchers=2, try again later.
后起秀厚勃发
09-01 2325
at org.apache.solr.client.solrj.impl.HttpSolrClient.executeMethod(HttpSolrClient.java:577) at org.apache.solr.client.solrj.impl.HttpSolrClient.request(HttpSolrClient.java:241) at org.apache.sol
solr索引报错(java.lang.OutOfMemoryError：GC overhead limit exceeded)
weixin_34018169的博客
07-20 279
配置文件修改如下： 　　　　　　<dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/world" user="root" password="root" batchSize="-1" /> 重点是加：batchSize="-1" 转载于:https://www.cnblogs....
Error: Exceeded limits on number of counters - Counters=120 Limit=120
yonghutwo的专栏
03-26 2241
今天用eclipse开发hadoop mapreduce程序，实现TF-IDF算法。开始测试的时候上传了10个文件一切正常，但当总的文件个数超过一百多个时eclipse开始报错，错误出现在ruduce过程中，此时输入reduce的数据是所有文件经过初步处理的合集，具体错误如下： org.apache.hadoop.mapred.Counters$CountersExceededException
关于Solr的maxWarmingSearchers的调优
that summer
09-19 1985
  Solr的一些错误：  错误日志： Error opening new searcher. exceeded limit of maxWarmingSearchers=X, try again later.  警告日志：PERFORMANCE WARNING: Overlapping onDeckSearchers=X  首先先下看collection下conf目录下的solrcon...
解决hive报hdfs exceeded directory item limit错误
05-08
在使用Apache Hive进行大数据处理时，可能会遇到一种错误提示：“hdfs exceeded directory item limit”。这个错误是因为HDFS（Hadoop Distributed File System）的某个目录下的子目录数量超过了默认的最大限制，即...
Rate Limit Exceeded(解决方案).md
09-02
print("Rate limit exceeded. Retrying after a delay.") time.sleep(request_interval * 2) else: print("Failed to fetch data due to unknown error.") ``` #### 技术概念和实践 1. **编程基础**：使用数据...
解决File size limit exceeded 错误的方法
10-27
在编程过程中，我们有时会遇到“File size limit exceeded”这样的错误，这通常意味着我们的程序尝试创建或操作的文件大小超过了操作系统或特定软件允许的最大限制。在本文中，我们将深入探讨这个问题，以及如何解决...
Solr-常见问题汇总（持续更新）
Fate is about choice
04-20 806
本文主要记录solr使用中遇到的一些常见问题及命令 关于solrConfig.xml的配置博客：https://blog.csdn.net/yuh_LLllccy/article/details/88552673 solr查询报错： 问题1：solr查询三万条以上的数据时报错 "error": { "msg": "Expected mime type application/o...
solr in action翻译- 第四章配置Solr 4.4
老男人
07-25 174
  转载请声明出处，谢谢。翻译也很辛苦    4.3。管理搜索 &lt;query&gt;元素包含设置允许您使用缓存技术来优化查询性能,懒加载,和新搜索器变暖。不用说,设计优化查询性能从一开始你的搜索应用程序的成功是至关重要的。在本节中,您将了解管理搜索者,这是最重要的一个技术优化查询性能。 4.3.1。新搜索器概述 在Solr,查询处理的组件称为搜索者。只有一个“活跃”搜索者在S...
SolrException: Index locked 和 Error opening new searcher 最终解决方案
【设计改变世界】github地址：https://github.com/guochunyang2004
07-24 433
SolrCore Initialization Failures paper: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Index locked for write for core paper question: org.apache.solr.common.SolrExcep...
Solr4.7源码分析-启动篇（四）
wenchanter的专栏
07-13 2987
上一篇文章介绍了启动时创建
worker_connections exceed open file resource limit: 1024
IChen.的博客
06-13 5594
在Nginx优化的过程中，将 connections加大的时候Nginx发出警告 worker_connections exceed open file resource limit: 1024 此警告的问题是受限于Linux的最大文件数限制。 环境：centos5.8 64bit ulimit -n 查看用户打开的最大文件数：1024 此处的1024是每个进程打开的最大文件数，对于系统的最大限制： more /proc/sys/fs/file-max 355828 file-max是整机可以打开的f
ORA-19566 exceeded limit of 0 corrupt blocks数据坏块处理
cuge240620的博客
11-02 721
问题描述 RMAN备份失败，报错如下： channel ch1: starting piece 1 at 02-NOV-12 released channel: ch1 ...
Solr6的solrconfig.xml解读
随-记的专栏
04-23 2740
摘要 solrconfig.xml配置文件主要定义了Solr的一些处理规则，包括索引数据的存放位置，更新，删除，查询的一些规则配置。 luceneMatchVersion 6.0.0 表示Solr底层使用的是Lucene6 lib 定义了Solr需要额外引用的jar包位置，如果对应的文件不存在，会自动忽略这一配置，一般建议将其注释掉，只添加需要使用的jar包。 dataDir
idea中GC overhead limit exceeded解决
最新发布
04-24
<think>好的，用户遇到了IntelliJ IDEA中GC overhead limit exceeded的问题，需要解决方案。首先，我得回忆一下这个错误的原因。根据引用[1]，这个错误属于OutOfMemoryError的一种，说明JVM在频繁进行垃圾回收但无法释放足够内存，导致应用性能问题。用户可能是在运行或构建项目时遇到了这个问题，尤其是在使用Maven导入或编译大型项目时，内存不足。 接下来，我需要整理解决方案。引用[2]和[3]提到了设置VM参数和调整内存配置。首先想到的是增加堆内存，比如在IDEA的VM options里设置-Xmx参数，例如-Xmx2048m。另外，Maven导入时的VM选项也需要调整，如引用[2]中的-Xmx1024m，可能用户需要更大的值。同时，Build process heap size也需要增加，如引用[3]提到的设置为2000MB。 还要考虑其他可能的原因，比如代码中存在内存泄漏，或者项目本身过于庞大，需要优化依赖。另外，检查是否开启了过多的插件，或者调整IDEA本身的内存设置。此外，建议用户更新IDEA和Maven到最新版本，可能修复了一些内存管理的问题。 需要确保步骤清晰，分点说明，让用户能逐步操作。同时，提醒用户如果问题持续，可能需要更深入的分析，比如生成堆转储文件或用Profiler工具检查内存使用情况。最后，确保所有建议都基于提供的引用，并补充其他可能的解决方法，以全面覆盖问题。</think>### IntelliJ IDEA中解决GC Overhead Limit Exceeded的步骤 #### 1. **增加JVM堆内存（关键措施）** 通过修改VM options直接调整内存分配： - 打开IDEA菜单栏：`Help` → `Edit Custom VM Options` - 添加或修改以下参数（建议逐步调整）： ```bash -Xms1024m # 初始堆内存 -Xmx4096m # 最大堆内存（示例值，根据机器配置调整） -XX:ReservedCodeCacheSize=512m # 代码缓存区大小 ``` - **重启IDEA生效**[^2][^3] #### 2. **调整Maven导入内存配置** 针对Maven项目构建时的内存问题： - 路径：`File` → `Settings` → `Build, Execution, Deployment` → `Build Tools` → `Maven` → `Importing` - 设置`VM options for importer`为： ```bash -Xmx2048m # 示例值，可调至机器可用内存的50% ``` [^2] #### 3. **修改编译进程堆大小** 增强编译时的内存分配： - 路径：`File` → `Settings` → `Build, Execution, Deployment` → `Compiler` - 设置`Build process heap size (Mbytes)`为`2000`或更高[^3] #### 4. **附加优化建议** - 升级IDEA至最新版本（优化内存管理） - 检查项目依赖，移除无用库（减少内存负载） - 关闭非必要插件（`File` → `Settings` → `Plugins`） - 使用`mvn clean install -T 1C`命令（限制并行线程数） $$ 内存分配公式参考： Xmx \leq 物理内存 \times 0.75 - 其他应用占用内存 $$ #### 5. **验证与深度排查** 若仍出现错误： - 使用`JVisualVM`或`YourKit`分析内存泄漏 - 通过`-XX:+HeapDumpOnOutOfMemoryError`生成堆转储文件 - 检查日志中频繁GC的代码区域
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值