解决OplogThread: Failed during dump collection cannot recover!方案

最新推荐文章于 2022-02-21 18:55:34 发布

原创最新推荐文章于 2022-02-21 18:55:34 发布 · 4.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #elasticsearch

elasticsearch 同时被 2 个专栏收录

10 篇文章

订阅专栏

mongodb

8 篇文章

订阅专栏

本文介绍了解决Mongo-Connector在同步MongoDB与Elasticsearch数据时出现的连接超时错误的方法，通过调整Elasticsearch的timeout值来确保数据同步的稳定性。

在使用mongo-connector，同步mongodb与elasticsearch数据的时候，出现了这个问题；
在同步过程中，可能会报错：

OperationFailed: ConnectionTimeout caused by - ReadTimeoutError(HTTPConnectionPool(host=u'localhost', port=9200): Read timed out. (read timeout=10))
2016-08-04 17:24:53,372 [ERROR] mongo_connector.oplog_manager:633 - OplogThread: Failed during dump collection cannot recover! Collection(Database(MongoClient(u'127.0.0.1', 27017), u'local'), u'oplog.rs')
2016-08-04 17:24:54,371 [ERROR] mongo_connector.connector:304 - MongoConnector: OplogThread <OplogThread(Thread-7, started 140485117060864)> unexpectedly stopped! Shutting down

解决办法:
修改timeout值，从默认的10改为200

 vi /usr/local/lib/python2.7/dist-packages/mongo_connector/doc_managers/elastic2_doc_manager.py

当你不知道你的elastic2_doc_manager.py的存储位置的时候，可使用：

find / -name elastic2_doc_manager.py

将：
self.elastic = Elasticsearch(hosts=[url],**kwargs.get('clientOptions', {}))
修改为：
self.elastic = Elasticsearch(hosts=[url],timeout=200, **kwargs.get('clientOptions', {}))

改好了。