mongodb服务迁移相关知识整理

MongoDB:记一次数据迁移经验 针对MongoDB数据库部分集合的迁移经验:mongodump/mongorestore + compass工具 阅读详情

因为迁移项目中用到的mongodb这个数据库。这里整理一下。

常用操作
show dbs;
use 数据库名:
show collections;
db.表名.find()
db.表名.find().count()
db.表名.find().limit(5);查看表的前5条数据。

状态查看: 20秒,每秒更新一次
mongostat -h 127.0.0.1 -p 27017 --rowcount 20 1

上面这些是简单的查看。因为数据库需要迁移,这里就需要迁移数据和索引。

先不说迁移情况,这次迁移完成之后,mongodb的cpu占用了特别高,200~300.内存占用不太高。但是另一个正在运行的服务,cpu占用率却特别低。这里网上找了一下,出现类似情况的,都是没有加索引造成的。我的项目里面,漏掉了一个配置文件,而配置文件相关的索引,也都没有添加,所以也就出现cpu占用率超级高的情况。

我迁移数据库是加索引了呀。但是我没有找到索引位置。这个时候我怀疑迁移的有问题。其实索引迁过去了,因为我用的版本比较高4.0.4,之前2.6.12的版本,索引是单独列出来的,里面有一个system.indexes的表,记录所有的索引。而现在的表,好像是去掉了system.indexes,所以迁移的时候,明明迁移过去了,但是实际上却找不到这个。

导出数据:

一个表:

mongodump --db project --collection 表名 --out 目的路径

整个库:

mongodump --db project–out 目的路径

数据恢复:

一个表:

mongorestore --db project --collection 表名备份路径

备份路径需要指向一个表的.bson文件,如:

mongorestore --db project --collection news_cjyw/…/dump/project/news_cjyw.bson

整个库:

mongorestore --db project备份路径

数据导出——每个表一个文件:

mongoexport --db project --collection 表名 --out 输出文件名,如:

mongoexport --db project --collectionstock --out stock.json,导出所有F10数据到文件/root/stock.json中

数据导入——每个表一个文件:

mongoimport --db users --collection 表名 --file输入文件名

这里我补充一点,

如果你使用的是mongoimport 和 mongoexport的方式,索引是必须得自己建的.而mongodump和mongorestore是导数据的时候,自动把索引给导过去。

迁移完服务之后,就需要该加索引的加索引,该优化的优化了。

db.collection_name.ensureIndex(keys[,options])

keys,要建立索引的参数列表。如{key:1},其中key表示字段名,1表示升序,-1表示降序)

options,可选参数,表示建立索引的设置。可选值如下:
background, Boolean,在后台建立索引,以便建立索引时不阻止其他数据库活动,默认值为false.

unique, Boolean, 创建唯一索引。默认值false.
name. String, 指定索引的名称。如果未指定,MongoDB会生成一个索引字段的名称和排序顺序串联。

dropDups, Boolean, 创建唯一索引时,如果出现重复删除后续出现的相同索引,只保留第一个。

sparse, Boolean,
对文档中不存在的字段数据不启用索引,默认值是false.
v, index version, 索引的版本号。
weights, document, 索引权重值,数值在1到99999之间,表示该索引相对于其他索引字段的得分权重。

example:

> db.sites.ensureIndex({name: 1, domain: -1})
{
  "createdCollectionAutomatically" : false,
  "numIndexesBefore" : 1,
  "numIndexesAfter" : 2,
  "ok" : 1
}

查看索引:

db.collection_name.getIndexes()

查看集合中的索引大小totalIndexSize()

db.collection_name.totalIndexSize()

删除索引:

db.collection_name.dropIndex(“Index_name”)

当然,如果加了索引,还是不管用。这个时候,就需要打开慢查询来收集查询比较慢的数据了。

1:Profiling级别说明

0:关闭,不收集任何数据。
1:收集慢查询数据,默认是100毫秒。
2:收集所有数据

2:开启Profiling和设置

1:通过mongo shell:
#查看状态:级别和时间
drug:PRIMARY> db.getProfilingStatus()   
{ "was" : 1, "slowms" : 100 }
#查看级别
drug:PRIMARY> db.getProfilingLevel()    
1
#设置级别
drug:PRIMARY> db.setProfilingLevel(2)
{ "was" : 1, "slowms" : 100, "ok" : 1 }
#设置级别和时间
drug:PRIMARY> db.setProfilingLevel(1,200)
{ "was" : 2, "slowms" : 100, "ok" : 1 }

3:关闭Profiling

# 关闭
drug:PRIMARY> db.setProfilingLevel(0)
{ "was" : 1, "slowms" : 200, "ok" : 1 }

4:修改“慢查询日志”的大小


#关闭Profiling
drug:PRIMARY> db.setProfilingLevel(0)
{ "was" : 0, "slowms" : 200, "ok" : 1 }
#删除system.profile集合
drug:PRIMARY> db.system.profile.drop()
true
#创建一个新的system.profile集合
drug:PRIMARY> db.createCollection( "system.profile", { capped: true, size:4000000 } )
{ "ok" : 1 }
#重新开启Profiling
drug:PRIMARY> db.setProfilingLevel(1)
{ "was" : 0, "slowms" : 200, "ok" : 1 }

索引设置完之后,使用

db.system.profile.find().pretty()

来查看,下面是查看的举例:

drug:PRIMARY> db.system.profile.find().pretty()
{
    "op" : "query",    #操作类型,有insert、query、update、remove、getmore、command   
    "ns" : "mc.user",  #操作的集合
    "query" : {        #查询语句
        "mp_id" : 5,
        "is_fans" : 1,
        "latestTime" : {
            "$ne" : 0
        },
        "latestMsgId" : {
            "$gt" : 0
        },
        "$where" : "new Date(this.latestNormalTime)>new Date(this.replyTime)"
    },
    "cursorid" : NumberLong("1475423943124458998"),
    "ntoreturn" : 0,   #返回的记录数。例如,profile命令将返回一个文档(一个结果文件),因此ntoreturn值将为1。limit(5)命令将返回五个文件,因此ntoreturn值是5。如果ntoreturn值为0,则该命令没有指定一些文件返回,因为会是这样一个简单的find()命令没有指定的限制。
    "ntoskip" : 0,     #skip()方法指定的跳跃数
    "nscanned" : 304,  #扫描数量
    "keyUpdates" : 0,  #索引更新的数量,改变一个索引键带有一个小的性能开销,因为数据库必须删除旧的key,并插入一个新的key到B-树索引
    "numYield" : 0,    #该查询为其他查询让出锁的次数
    "lockStats" : {    #锁信息,R:全局读锁;W:全局写锁;r:特定数据库的读锁;w:特定数据库的写锁
        "timeLockedMicros" : {     #锁
            "r" : NumberLong(19467),
            "w" : NumberLong(0)
        },
        "timeAcquiringMicros" : {  #锁等待
            "r" : NumberLong(7),
            "w" : NumberLong(9)
        }
    },
    "nreturned" : 101,        #返回的数量
    "responseLength" : 74659, #响应字节长度
    "millis" : 19,            #消耗的时间(毫秒)
    "ts" : ISODate("2014-02-25T02:13:54.899Z"), #语句执行的时间
    "client" : "127.0.0.1",   #链接ip或则主机
    "allUsers" : [ ],     
    "user" : ""               #用户
}

参考:

http://www.cnblogs.com/zhoujinyi/p/3566773.html
https://www.linuxidc.com/Linux/2017-03/141626.htm
https://blog.youkuaiyun.com/fanyun_01/article/details/51564567
https://itbilu.com/database/mongo/E1tWQz4_e.html

Spring Data MongoDB为后端数据迁移提供的便利 我们的目的是深入了解Spring Data MongoDB在后端数据迁移过程中能发挥的作用以及带来的便利。范围涵盖了Spring Data MongoDB的基本概念、核心功能,以及如何运用它来完成数据迁移任务,同时也会探讨在实际项目中的应用场景和未来发展方向。本文首先会介绍一些相关的术语,让大家对关键概念有清晰的认识。接着通过故事引入Spring Data MongoDB的核心概念,解释这些概念之间的关系,并给出原理和架构的示意图。然后详细讲解核心算法原理和具体操作步骤,包括用代码示例展示。 阅读详情

相关推荐

MongoDB结构迁移翻车实录:用mongock管好ChangeSet与索引变更

数据库结构变更管理是微服务开发中常被忽视的环节。在MongoDB这类文档型数据库中,索引创建、字段改名、数据回填等操作往往依赖人工执行脚本,多环境同步时极易出现漏跑或重复执行,甚至引发线上查询性能急剧恶化。mongock作为一款面向Java生态的轻量级迁移工具,借鉴了Flyway与Liquibase的设计理念,通过ChangeLog与ChangeSet注解将每次变更封装为可追溯的代码单元,并基于执行历史集合与分布式锁机制确保迁移只执行一次。在Spring Boot项目中,开发者只需配置扫描包路径与锁参数,即

weixin_33417488的博客 201

mongodb索引导出

mongodb 索引 导出

小小程序员 1218

Matlab双目相机标定

1 概述 现在有许多双目相机在出厂时就已经标定好了,用户拿到手后可以直接使用,例如Intel Realsense系列。但是有些相机出厂的时候并没有完成标定工作,因而这个时候就需要我们自己来标定。由于笔者曾改装过一个双目相机,最远可以测至50m,因此有一定的心得体会想给大家分享一下。本文主要介绍双目相机标定的整个过程,以及导出标定数据的方法。 相机标定主要分为手动标定和自动标定,手动标定比较繁琐,这里主要介绍基于matlab工具箱的自动标定方式来对双目相机进行标定。具体的相关标定细节也可以参照这篇博客:m

weixin_46133643的博客 2万+

【实战场景】MongoDB迁移的那些事

在数据驱动的时代,MongoDB作为非关系型数据库的佼佼者,以其灵活的文档模型、高可用性和可扩展性,赢得了众多企业和开发者的青睐。然而,随着业务的不断发展和技术栈的迭代更新,MongoDB数据库的迁移成为了许多团队面临的重要任务。无论是出于性能优化、架构升级还是云环境迁移的需求,MongoDB的数据迁移都是一个复杂而关键的过程,它直接关系到数据的完整性、服务的连续性和用户体验的流畅性。一、为什么需要MongoDB迁移?二、MongoDB迁移的挑战 尽管MongoDB提供了强大的功能和灵活的迁移方案,但在实际

杰叔叔不是个好叔叔的博客 3578

利用Solidworks2020将挖掘机装配体转换为URDF模型

利用Solidworks2020将挖掘机装配体转换为URDF模型一、下载sw_urdf_exporter插件 URDF(Universal Robot Description Format)——通用机器人描述格式,它是ROS里边使用的一种机器人的描述文件,包含的内容有:连杆、关节,运动学和动力学参数、可视化模型、碰撞检测模型等。 一、下载sw_urdf_exporter插件 ROS提供了SolidWorks转URDF的插件(下载链接)—sw2urdfSetup.exe,下载后点击安装,安装完成后就能在sol

weixin_48192326的博客 6106

图像加密与解密(附matlab代码)

详细介绍了三种图像加密解密原理,并基于matlab开发了一套相应系统。

2442

MongoDb(六)索引原理和命令

(一)索引基本介绍    索引是提高查询查询效率最有效的手段。索引是一种特殊的数据结构,索引以易于遍历的形式存储了数据的部分内容(如:一个特定的字段或一组字段值),索引会按一定规则对存储值进行排序,而且索引的存储位置在内存中,所在从索引中检索数据会非常快。如果没有索引,MongoDB必须扫描集合中的每一个文档,这种扫描的效率非常低,尤其是在数据量较大时。。比如mmap...

weixin_41987908的博客 2041

嵌入式Linux开发必备:设备树插件动态加载实战指南(RK356x平台为例)

本文以RK356x平台为例,详细介绍了嵌入式Linux开发中设备树插件的动态加载实战。通过configfs接口,开发者可以在系统运行时动态修改硬件配置,实现外设的即插即用与调试,无需重启设备,极大提升了开发与调试效率。

w7x8y9z的博客 445

ES数据库重建索引——Reindex(数据迁移)

一、应用背景: 1、当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。 2、当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的, 所以这种情况下也可以考虑尝试使用Reindex。 二、 ...

chbxw 7744

抖音用户主页视频数据爬虫详解(点赞,收藏,分享等)

的包中有个max_cursor参数,请求载荷中也有一个这样的参数,每次请求的数据中max_cursor是下一个请求的载荷,,,同时has_more为1时候代表还能请求,0为不能请求,我们做如下判断。最后发现cookie很容易过期,批量爬取有点困难,,,,我们采用drissoinpage进行自动化获取。首先进行抓包分析,,,随便找个主页,f12,关键词搜索,发现这个包是以post开头。请你第一次运行先按0,进行登录(或者触发反爬的时候),登录完成之后,按1进行爬取,完整代码请在知识星球。

m0_74823507的博客 3433

【AUTOSAR-IpduM】-3.1-配置一个发送Tx Dynamic Container PDU(Multiple-PDU)

手把手教您如何配置一个Tx Dynamic Container PDU(Multiple-PDU),动态容器复用帧。并附上测试LOG帮助您进一步加深理解。

「汽车电子助手」的博客 1773

MongoDB技术文章合辑1:基础知识

近期请社区内几位成员整理了下号内MongoDB技术文章,分为基础知识、性能优化、原理解读、运维监控和最佳实践5个主题,感兴趣的朋友可以直接进入查看微信服务号上的归类整理https://mp.weixin.qq.com/mp/homepage?__biz=MzU4MTA2NTM0Ng==&hid=1&sn=1c1bc7ddeb9ae71b51372798514cbf74 这里...

MongoDB中文社区 336

【ESP 保姆级教程】第三方库篇 ——TimeLib库,一个非常Nice的时间库,结合第三方进行校正时间

Time,这是一个为Arduino提供时间支持的库。 这个库的例子中会教会我们多种方式去获取时间: - 一个`RTC`时钟 - 网络`NTP`时间 - `GPS`时间

单片机菜鸟哥的博客 3677

MongoDB迁移到金仓数据库:商品属性继续灵活存,订单报表交给 SQL

本文探讨MongoDB向金仓数据库(KingbaseES)迁移时,如何兼顾灵活性与可维护性。针对商品扩展属性采用文档模型保留弹性,订单金额等稳定字段则用关系表确保数据一致性。通过SQL与JSONB类型结合,实现跨文档的关联查询与聚合分析,如统计特定规格保温杯的销售额。关键在于分清“保留原接口”与“重构业务模型”两条路线,合理使用jsonb_extract_path等函数提取文档字段,避免数据不一致或查询失败。最终让应用层减少代码量,报表结果更准确可靠。

私聊前往站内信:https://i.youkuaiyun.com/#/msg/chat/weixin_44976692 10万+

实现边缘实时动物检测:YOLOv5模型优化与树莓派4B部署全攻略

本文介绍了基于高性能计算机训练YOLOv5目标检测模型,并部署到树莓派4B实现实时动物检测的全流程。主要内容包括:1)在高性能计算机上通过Anaconda创建虚拟环境,安装YOLOv5项目并进行模型训练;2)将训练好的best.pt模型迁移到树莓派,配置轻量级Miniconda环境;3)连接树莓派摄像头,运行实时检测程序。该系统兼顾了训练效率和边缘设备部署的实用性,可广泛应用于智慧农业、生态监测等场景。文中详细说明了数据准备、环境配置和部署步骤,为开发轻量级目标检测系统提供了完整参考方案。

m0_64661770的博客 201

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

可视化mongodb客户端_MongoDB技术文章合辑1:基础知识

近期请社区内几位成员整理了下号内MongoDB技术文章,分为基础知识、性能优化、原理解读、运维监控和最佳实践5个主题,感兴趣的朋友可以直接进入查看微信服务号上的归类整理https://mp.weixin.qq.com/mp/homepage?__biz=MzU4MTA2NTM0Ng==&hid=1&sn=1c1bc7ddeb9ae71b51372798514cbf74这里分享Mon...

weixin_35662085的博客 96

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

【最佳实践】TiDB 同步&迁移实战 (从 MySQL/Oracle/PostgreSQL/MongoDB 到 TiDB )

作者: TiDB社区小助手 原文来源: https://tidb.net/blog/78f040e0 ...

TiDB 社区干货传送门 472

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

NewsBlur 服务器迁移实录:从 Digital Ocean 到 Hetzner 裸金属的 120 节点全量搬迁

本篇技术指南以 NewsBlur 仓库中的《Hetzner 迁移备忘》(archive/hetzner migration.md)为骨架,还原了作者将约 120 台服务器(20 台数据库、80 台任务、20 台应用)从 Digital Ocean 一次性迁移到 Hetzner 裸金属服务器的完整操作流程。文章覆盖维护模式开关、Celery 停服、PostgreSQL / MongoDB / Red

gitblog_00246的博客 446

MongoDB官方教程整理笔记(摘录)

声明:内容均为摘录,仅包括简单功能,请以官网最新中文教程为准   平台以win32为例,内容均来自官网,略加整理。 参考: http://wiki.mongodb.org/display/DOCS/Quickstart+Windows http://www.mongodb.org/display/DOCS/Tutorial 中文文档: http://wiki.mongodb.org...

weimingtom的待宵草 216

面试必备:MongoDb数据库面试整理

从非集群分片升级到集群分片(sharding)是无缝的,所以在你的数据集还不是很大的时候没必要考虑集群分片(sharding)。MongoDB没有使用传统的锁或者复杂的带回滚的事务,因为它设计的宗旨是轻量,快速以及可预计的高性能。当完成后,数据只会出现在新的分片里(shard)。更新操作会立即发生在旧的分片(shard)上,然后更改才会在所有权转移(ownership transfers)前复制到新的分片上。每个journal (group)的写操作都是一致的,除非它是完整的否则在恢复过程中它不会回放。

2501_90404066的博客 549

Wekan Sandstorm grain 数据救援指南:从 .zip 导出到 Standalone MongoDB

本指南讲解如何将 Wekan 的 Sandstorm grain(以 `.zip` 文件下载)中的数据导出并迁移到 Standalone 版 Wekan 的 MongoDB 数据库中。当你在 Sandstorm 中打开 Wekan grain 时遇到 **Board not found error(找不到看板错误)**,或希望把 Sandstorm 中的数据完整搬迁到 Docker / Snap

gitblog_00002的博客 1068

亚马逊云科技-迁移到Amazon DocumentDB虚拟

亚马逊云科技-迁移到Amazon DocumentDB虚拟

weixin_46812959的博客 881

MongoDB 6.0.3分片Sharding与平衡策略的变化

速览1、分片机制概述2、平衡策略变化3、迁移阈值与Chunk的变化4、开启集合分片变化5、集合分片查询变化6、总结分片机制概述MongoDB 的分片是一种水平扩展技术,用于将大型数据集分割成更小的部分,分布在网络中的多个服务器(即分片)上,以提高性能和可扩展性。分片机制的核心是将数据块(chunks)分散到不同的分片上,以便实现负载均衡。平衡策略变化自MongoDB 6.0.3版本起,分片集群中数...

qq_34692500的博客 793

FerretDB 迁移前测试指南:借助 diff 操作模式与响应指标验证 MongoDB 兼容性

从 MongoDB 迁移到 FerretDB 之前,最稳妥的做法不是一次性切换流量,而是先让应用在"双写双读"的对照环境中运行,逐条核对 FerretDB 与 MongoDB 的响应差异。本文基于 FerretDB 官方迁移文档([website/versioned_docs/version-v2.7/migration/premigration-testing.md](https://link.

gitblog_01110的博客 87

Apereo CAS 基于 MongoDB 的服务注册中心(Mongo Service Registry)完整配置与 Change Stream 实时刷新实战指南

本文以 Apereo CAS 项目中的 [MongoDb-Service-Management.md](https://link.gitcode.com/i/8f480ecce6106a33de9656742d0e67b8) 为骨架,系统讲解如何使用 MongoDB 作为服务注册中心(Service Registry)持久化存储,深入剖析其配置参数、Change Stream 实时刷新机制、自动初

gitblog_00720的博客 949
上一篇: mongodb安装及安装后warning的解决方法
下一篇: 在mysql中修改表名的sql语句
幽默的荆轲君
博客等级 码龄10年 122粉丝 295原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值