【Mongo】mongorestore恢复数据特别慢

最新推荐文章于 2024-12-05 17:24:32 发布
转载 最新推荐文章于 2024-12-05 17:24:32 发布 · 2.3k 阅读 · 0
文章标签：

#数据库 #json

本文介绍了一种在MongoDB复制集环境下恢复数据时遇到的缓慢或卡顿问题，并提供了解决方案。问题出现在尝试从主节点恢复数据时，由于仲裁节点的心跳机制导致与次节点连接失败。
Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

出现restore数据特别慢的情况，这边出现的就是这种情况
  1. 我也遇到过恢复数据慢或者卡住的情况，当时是在复制集环境下恢复数据，查看日志后发现是：如果Secondary节点断掉，在Primary节点上执行上面的恢复命令时，由于Arbiter的心跳机制，会导致下面的报错：

  3. 2016-03-28T16:56:52.304+0800 I REPL [ReplicationExecutor] Error in heartbeat request to 192.168.8.37:27017; Location18915 Failed attempt to connect to 192.168.8.37:27017;
然后整个进度条就卡住了。


解决办法：
  1. >rs.remove()
  2. 先去掉延迟或者有问题的secondery节点，然后再加上

参考文档：
https://segmentfault.com/q/1010000004430686

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29096438/viewspace-2156375/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29096438/viewspace-2156375/

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

cml2016
关注
故障案例--mongodb3.0 mongorestore恢复数据库时hang住
cug_jiang126com的专栏
06-02 5229
现象 wiretigerd引擎下，mongorestore的进程一直卡在那，查看错误日志几个小时都无更新，进程hang住 诊断步骤 理论上这个db能使用的最大内存为3G，查看mongod进程当前使用的内存是1.1G strace -p mongod进程号查看到大量的超时 pstree -p 689 单独stace- p 699，pstree树中的一个节点
使用mongodump和mongorestore备份与恢复Mongodb数据
a13568hki的博客
07-12 5325
mongodump仅备份数据库中的文档，不备份索引，所以我们还原后，需要重新生成索引。说明：当前环境的mongodb服务是采用容器部署的，这里的/data/backup是指容器中的备份目录，备份文件会存放在这个目录下，你也可以将容器中的/data/backup目录映射为当前宿主机上的某一目录。mongodump是MongoDB官方提供的备份工具,它可以从MongoDB数据库读取数据,并生成BSON文件,mongodump适合用于备份和恢复数据量较小的MongoDB数据库, 不适用于大数据量备份。
MongoDB数据库管理：全面掌握mongodump和mongorestore的备份与恢复技巧
欢迎来到技术蜜糖罐的IT角落！
05-22 1755
mongodump和是 MongoDB 提供的强大工具，用于数据的备份和恢复。通过这些工具，管理员可以轻松地进行数据库的备份、恢复、迁移等操作。了解和掌握这些工具的使用，对于确保数据库系统的可靠性和数据的安全性至关重要。在实际应用中，应该结合具体场景，制定合适的备份和恢复策略，确保数据的完整性和一致性。通过定期备份、数据迁移、数据恢复和测试环境搭建等应用场景的详解和示例代码，用户可以更好地理解和应用这些工具，确保 MongoDB 数据库的高可用性和数据安全。
MongoDB数据备份与恢复（内含工具下载、数据处理以及常见问题解决方法）
xiaouncle的博客
11-20 3407
对MongoDB进行导入导出、备份恢复等操作时需要用到命令工具，我们要先检查一下MongoDB安装目录下是否有这些工具，正常情况下是没有的:)，因为新版本的MongoDB安装时不包含这些工具，需要我们手动下载安装。mongodump、mongorestore、createUser、dropUser、changeUserPassword
mongodb启动很慢
cug_jiang126com的专栏
01-05 4691
故障现象 mongodb重启后，等了几十分钟还一直没启动完成，单节点副本集，状态一直处于startup 原因分析 查看mongod的错误日志，发现一直处于building index，但根据之前的经验，只有在重做secondary节点的时候才会经常处于building index状态，而这个db是primary节点，于是详细查看了关于这个building index的全部信息  201
MongoDB 中启用备份故障恢复需要多久？
My_wife_QBL的博客
07-24 1276
在 MongoDB 中启用备份和故障恢复的时间受到多种因素的影响，包括数据库大小、备份方式、硬件性能和网络带宽等。通过合理选择备份方式、定期进行备份、以及实施监控和测试措施，组织可以显著提高数据的安全性和可恢复性。确保数据的安全和可恢复性是每个组织的关键任务。通过建立有效的备份和恢复策略，企业能够在数据丢失或故障发生时迅速恢复业务，降低潜在的经济损失和声誉风险。在这个数据驱动的时代，保护好数据，也就是保护好企业的未来。
基于docker的mongodump / mongorestore 备份恢复
u010533742的博客
10-27 1879
一、下载mongodump镜像 docker pull mongo:latest 二、备份mongodb所有的数据 #!/bin/bash source /etc/profile #定义脚本变量 mongo_user=root mongo_password=xxxxxxxx mongo_host=192.168.11.210:27017 backup_path=/data/mongo_backup/data backup_time=`date +%Y%m%d_%H%M%S` #改变备份目录的权限（写
mongo开启慢日志及常用命令行操作、数据备份
诚不我欺的博客
12-05 1102
1.setProfilingLevel是针对库进行设置的，需要use切换到指定库执行命令，只会对该库生效，其他库不会有任何影响；通过连接命令行后执行语句开启慢查询，好处是不需要重启服务，但服务只要重启后就会失效；：指定 mongo的端口号，默认是 27017；如：连接指定的主机的mongo库；–host：指定连接的主机地址；库名：用于指定账号密码认证的库；：指定 mongo的主机地址；–port：指定连接的端口；： 列出指定集合的所有索引；：指定需要备份的数据库；：指定连接的用户名；：指定需要备份的集合；
精选资源
mongo数据迁移 java mongo数据库 亲测有效
07-16
与mongodump相对应，mongorestore用于将mongodump导出的数据文件恢复到MongoDB实例中。在数据还原的过程中，可以通过添加--drop参数来指定在还原之前是否删除目标集合中的现有数据。这样可以避免数据备份和现有数据...
mongodb oplog备份和恢复
路过我的生活呀
09-25 552
按要恢复数据的时间戳导出oplog（ns为要恢复的数据库.表名；执行重放 mongorestore。cd mongodb的目录。mongodump命令。
MongoDump与MongoRestore若干小坑
hanyueqi的专栏
03-06 8116
1、MongoDump       使用MongoDump进行数据导出，总是在导出某些集合的时候出现问题，意外终止，分析问题：       集合问题，是否是名称或集合里面数据有问题，经检验单独导出该集合没有任何问题；       Baidu，Google后均为果，只能自己思考。       比较诡异问题：每次dump必断，而且会搞垮整个mongodb服务器；       经排查，同事没有
MongoDB mongorestore导入遇到waiting for write concern
灯火觅阑珊
10-15 606
开发人员告知使用mongorestore导入数据过程中卡着停滞不前，我协助排查。 使用db.currentOp()发现一些下面的信息： { "desc" : "conn927252", "threadId" : "47404144039680", "connectionId" : 927252, "client" : "xxx.xxx.xxx.xxx:20338", ...
mongodb的备份与恢复
归来仍少年
12-30 1184
一.mongodump备份 mongodump主要是用于库和集合的备份,适用于数据量比较小的场景，不适用于大数据量的备份 仅备份数据库中的文档，不备份索引 备份过程会对mongod服务性能产生影响 使用语法： mongodump <options> 常用参数 参数 说明 -h, --host 数据库ip地址 –port 数据库端口 -u, --username 数据库用户 -p, --password 用户密码 --authenticationDatabase
mongodb导入数据变得很慢，解决办法
热门推荐
qq_40724463的博客
06-16 1万+
我是mongodb小白，学习过程中遇到了一个棘手的问题，向mongos中导入大约1G的数据，变得越来越慢，甚至进度条一直不走了(之前也插入过1G数据，没遇到这种情况)。自己摸索了好久，终于解决。解决方法，与大家分享 开始我以为是不是数据处理的时候出了问题，然后我又将需要导入的数据重新预处理，之后操作，还是不行，也是上述情况。 之后我又以为是mongodb集群崩了，重新搭建复制集+分片，再导入数据...
MongoDB 手动备份(mongodump)与恢复(mongorestore)，好文推荐
2401_84254296的博客
04-15 1126
备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。执行以上命令后，客户端会连接到ip为 127.0.0.1 端口号为 27017 的MongoDB服务上，并备份所有数据到 bin/dump/ 目录中。在本地使用 27017 启动你的mongod服务。需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2。需要备份的数据库实例，例如：test。
MongoDB数据库的备份与恢复详解
孙彦辉的专栏
09-13 2563
本文主要介绍了MongoDB数据库的备份与恢复的知识，包括冷备份、以及备份和恢复两种工具的使用，最后介绍了读扩展式的备份机制，希望能够对您有所帮助。 MongoDB是怎么实现数据的备份与恢复，故障切换以及数据库服务器的负载均衡等功能的呢？本文我们就介绍这些知识。 备份与恢复 在创建MongoDB服务的时候，通过--dbpath指定目录就是存放mongdb数
MongoDB Atlas的数据备份
liuzr_的博客
12-14 1121
了解MongoDB的备份方案，全量备份，增量备份的概念，付费方案
MongoDB 备份和恢复——筑梦之路
筑梦之路
12-28 1706
安装mongoDB yum install libcurl openssl #添加yum源 vim /etc/yum.repos.d/mongodb-org.repo [mongodb-org] name=MongoDB 4.4 Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/$basearch/ gpgcheck=0 enabled=1 #安装 yum install -y mongod.
用mongorestore 怎么恢复数据，备份文件是一个zip格式的文件
最新发布
11-01
<think>首先，用户的问题是：“我想查找使用mongorestore恢复zip格式备份文件数据的方法”。用户明确表示要使用mongorestore来恢复一个zip格式的备份文件。 我的系统指令包括： - 所有行内数学表达式使用$...$格式（但这里可能不涉及数学表达式）。 - 独立公式使用$$...$$并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾添加引用标识，如[^1]。 用户提供了两个引用： - 引用[1]：讨论在MongoDB容器内如何使用mongorestore恢复备份，并提到了mongorestore vs mongoimport的区别。 - 引用[2]：关于在没有外部IP时备份MongoDB，使用mongodump。 用户提到这些引用不是真正的需求，我应该参考用户上一次的问题和我的回答。但查看对话历史： - 上一轮用户消息是关于查找使用mongorestore恢复zip格式备份文件的方法。 - 在此之前，系统有指令示例，但没有具体对话历史显示用户之前的查询。对话历史只有当前消息。 实际上，在对话历史中： - 系统指令后，用户消息是：“参考站内引用:引用[1]:... 引用[2]:... 我想查找使用mongorestore恢复zip格式备份文件数据的方法” 所以，用户第一次问这个问题，没有之前的回答。 现在，用户的问题是：如何用mongorestore恢复zip格式的备份文件。 从引用中提取相关信息： - 引用[1]：提到使用mongorestore恢复备份，命令是：mongorestore --db flash-waimai /path/to/elm_backup/。它还说mongorestore用于整体数据库备份恢复。 - 引用[2]：提到mongodump用于备份，并压缩下载。 但用户指定了zip格式的备份文件。mongorestore原生不支持直接读取zip文件。我需要解释如何处理zip文件。 关键点： - mongorestore命令通常从目录恢复备份，该目录包含BSON文件。 - 如果备份是zip格式，用户需要先解压缩zip文件，然后使用mongorestore指向解压后的目录。 步骤应该是： 1. 解压缩zip备份文件到某个目录。 2. 使用mongorestore命令指向那个目录。 在Linux环境下，使用unzip命令或其他工具解压。 命令示例： - 解压：unzip backup.zip -d /target/directory - 然后：mongorestore --db your_database /target/directory 引用[1]提到在MongoDB容器内执行命令，所以可能需要考虑Docker环境。 用户提到“Linux环境下dockes使用MongoDB”，应该是“Docker”。 所以，在Docker环境中： - 用户需要进入MongoDB容器或执行命令在容器内。 - 解压文件，然后运行mongorestore。 mongorestore命令在容器中可用。 完整方法： 1. 确保zip文件在主机上。 2. 可以使用Docker命令将zip文件复制到容器中。 3. 在容器内解压zip文件。 4. 运行mongorestore指向解压目录。 或者，直接在主机上解压，然后挂载目录到容器，运行mongorestore。 更简单的方式：在容器内运行命令。 命令示例： - 假设备份文件是backup.zip - 放在主机目录，如/home/user/backups - 在Docker中，挂载该目录到容器 - 启动容器并执行命令 具体步骤： - 使用docker exec进入容器 - 或者运行一个一次性命令 例如： docker exec -it mongodb_container bash 然后，在容器内： - cd /path/in/container - unzip /host/path/backup.zip -d /data/restore - mongorestore --db your_database /data/restore 如果容器没有unzip，需要先在容器内安装unzip。 为了简洁，我可以提供直接命令。 使用mongorestore恢复zip备份的步骤： 1. 解压缩zip文件到目录。 2. 运行mongorestore指向那个目录。 在回答中，要结构化： - 逐步解释。 - 使用中文。 - 生成相关问题。 添加引用标识：参考引用[1]，末尾添加[^1]。 引用[1]提到mongorestore vs mongoimport，但用户明确问mongorestore。 生成相关问题： - 例如：如何备份MongoDB数据？ - mongorestore的其他选项？ - 处理其他压缩格式？ 确保回答真实可靠：mongorestore不支持直接读取zip；需要先解压。 最终回答结构： - 解释方法。 - 给出命令示例。 - 添加引用。 - 相关问题。 </think>### 使用 mongorestore 恢复 ZIP 格式备份文件的方法 在 MongoDB 中，`mongorestore` 工具用于恢复整体数据库备份（包括数据库结构和索引），但它本身不支持直接读取 ZIP 格式的文件[[^1]]。ZIP 文件需要先解压缩为目录（包含 BSON 和 JSON 备份文件），然后才能使用 `mongorestore` 恢复。以下是基于 Linux 环境（尤其 Docker 容器）的完整步骤。整个过程分为两步：先解压 ZIP 文件，再执行恢复操作。 #### 步骤 1: 解压缩 ZIP 备份文件 在运行 MongoDB 的主机或容器内，需将 ZIP 文件解压到一个目录。假设 ZIP 文件名为 `backup.zip`，存放路径为 `/home/user/backups`（具体路径根据您的实际情况调整）。 - **命令行示例**： ```bash # 在主机或容器内创建解压目录（例如 /data/restore） mkdir -p /data/restore # 解压 ZIP 文件到目标目录（使用 unzip 工具） unzip /home/user/backups/backup.zip -d /data/restore ``` - 如果系统没有安装 `unzip`，需先安装：`sudo apt-get install unzip -y`（适用于 Ubuntu/Debian）。 - 解压后，目录 `/data/restore` 应包含类似 `your_database` 的子目录（其中 `your_database` 是备份时的数据库名）。 #### 步骤 2: 使用 mongorestore 恢复备份 解压完成后，执行 `mongorestore` 命令指向解压后的目录。在 Docker 环境中，需确保 MongoDB 容器能访问该目录（通过卷挂载）。 - **基本命令格式**： ```bash mongorestore --db your_database /path/to/restored_directory ``` - `--db your_database`：指定要恢复的目标数据库名；如果备份包含多个数据库，可省略此标志来恢复所有数据库。 - `/path/to/restored_directory`：解压后的目录路径（例如 `/data/restore`）。 - **在 Docker 容器内执行的示例**： 如果 MongoDB 在 Docker 容器中运行（容器名为 `mongodb_container`），需先进入容器： ```bash # 进入 MongoDB 容器 docker exec -it mongodb_container bash # 在容器内执行恢复命令（假设解压目录已挂载到容器内的 /data/restore） mongorestore --db your_database /data/restore ``` - 如果 ZIP 文件在主机上，启动容器时需挂载目录：`docker run -v /home/user/backups:/data/backups -it mongo`，然后在容器内运行解压和恢复命令。 - 恢复完成后，MongoDB 将重建数据库结构和索引[[^1]]。 #### 注意事项 - **权限问题**：确保运行命令的用户有读写权限（在 Docker 中，可使用 `--user` 参数指定用户）。 - **备份验证**：解压后检查目录是否包含有效的 BSON/JSON 文件（mongodump 生成的备份）。 - **压缩格式支持**：`mongorestore` 原生只处理目录或压缩工具（如 gzip）的输出，但 ZIP 格式需额外解压步骤。推荐使用 `mongodump` 生成备份时直接压缩为 gzip（例如 `mongodump --gzip`），以简化恢复流程[[^2]]。 - **错误处理**：如果恢复失败，检查 MongoDB 日志（`docker logs mongodb_container`）或使用 `mongorestore --help` 查看选项（如 `--drop` 覆盖现有数据）。 通过以上方法，您可以从 ZIP 备份文件成功恢复数据。mongorestore 的优势在于保留数据库的完整元数据，而不仅仅是数据记录[[^1]]。 ### 相关问题 1. **如何创建 MongoDB 的 ZIP 格式备份？** （涉及 `mongodump` 和压缩命令的组合使用） 2. **在 Docker 中如何优化 MongoDB 备份和恢复的性能？** （包括卷管理、并发参数等） 3. **MongoDB 备份恢复失败有哪些常见原因和解决方案？** （如权限错误、版本不匹配等问题）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值