Elasticsearch部署遇到的那些坑

最新推荐文章于 2025-09-05 18:04:33 发布

原创最新推荐文章于 2025-09-05 18:04:33 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #搜索引擎

本文介绍了一个项目中使用Elasticsearch与MongoDB集成的经验，包括安装配置、增量导入及遇到的问题解决方法，如远程连接、oplog大小调整及大文档处理。

最近一个项目要求部署Elasticsearch+mongdb，感觉是一个比较简单的事，却遇到了不少的坑。客户的数据库有5万多条数据，大小共60多G的文档。
先说明步骤：
1、安装Elasticsearch和elasticsearch-river-mongodb，就不多说了，按照随下官方说明安装即可（https://github.com/richardwilly98/elasticsearch-river-mongodb/wiki）。
2、增量导入
先导入30%文档到mongodb，然后启动Elasticsearch服务，通过river插件自动同步到Elasticsearch服务器。
完成后，再导入30%文档到mongodb，这时候不需要关闭Elasticsearch，让它自动同步。
一直增量导入，直到完成。
遇到的坑
1、不能连接远程mongodb。
原来之前mongodb初始化副本集都是本地模式，如下图： 127.0.0.1一定要换成具体IP，否则远程不能连接。
rs.initiate({“_id” : “rs0”,”members” : [{“_id” : 0,”host” : “127.0.0.1:27017”}]})

2、第一次初始化ES时很顺利，再次增量时，报River out of sync with oplog.rs collection。
由于mongodb oplog大小太小。官方建议100MB，如果硬盘足够，可以扩展到10-20G，修改oplog大小，百度一下。

3、每次同步到某个文档时，就失败，具体错误忘了，应该也是内存溢出之类的。
后来发现，文档中居然有3G多的文档，这个文档肯定同步不到Elasticsearch里。只有修改river的源码了，修改org.elasticsearch.river.mongodb.util.MongoDBHelper.serialize()方法，增加大小判断，如果大于50MB，就不同步内容到Elasticsearch。重新编译并拷贝到Elasticsearch插件里。

Long maxLength=50000000L;
if(file.getLength()<maxLength){
            try (InputStream stream = file.getInputStream()) {
                while ((nRead = stream.read(data, 0, data.length)) != -1) {
                    buffer.write(data, 0, nRead);
                }
                buffer.flush();
            }
            encodedContent=Base64.encodeBytes(buffer.toByteArray());
            buffer.close();
}