java.io.IOException: Unreasonable length = 1050410
问题描述:
solr重启失败, 报错信息如下
java.io.IOException: Unreasonable length = 1050410
at org.apache.jute.BinaryInputArchive.checkLength(BinaryInputArchive.java:127)
at org.apache.jute.BinaryInputArchive.readBuffer(BinaryInputArchive.java:92)
at org.apache.zookeeper.proto.GetDataResponse.deserialize(GetDataResponse.java:54)
at org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:814)
at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:94)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:355)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1082)
推测结论:
zookeeper服务器端默认读取数据节点大小为1.01M,当zookeeper客户端读取的节点大小超过该值时就会抛出异常信息:java.io.IOException: Unreasonable length = 1256441
注:一般情况下zookeeper服务端数据节点大小也是1M,此处由于之前碰到过节点超过1M时无法写入的问题,所以在zookeeper服务端提前设置了大小为3M。但是zookeeper客户端这边读取大小没有设置大小,所以才会出现客户端读取超大节点时抛出异常信息问题。
解决方案:
在solr高级配置里面添加jvm参数 -Djute.maxbuffer=3145728
配置完之后重启成功, 但是用hbase-indexer 的jar包同步数据到solr依旧报上面的错误。
需要在hadoop配置文件增加 jute参数
修改/etc/hadoop/config/hadoop-env.sh
修改完后成功同步, 但是创建collection 会出现部分分片的replication创建失败
错误如下:
org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException:Error CREATEing SolrCore 'ecifdb20190325_pty_indv_shard1_replica3': Unable to create core [ecifdb20190325_pty_indv_shard1_replica3] Caused by: Specified config does not exist in ZooKeeper:dir_pty_indv_ecifdb20190325
找了很久没找到解决办法, 后面重启集群解决问题。