一次线上事故，我顿悟了MongoDB的精髓

最新推荐文章于 2025-02-16 15:11:26 发布
原创 最新推荐文章于 2025-02-16 15:11:26 发布 · 7.6k 阅读 · 77 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#mongodb #数据库 #服务器 #大数据

本文详细介绍了MongoDB分片的原因、原理及实践操作，包括MongoDB服务异常处理、分片概念、分片步骤、数据块管理、均衡器的工作方式，帮助读者理解MongoDB集群管理和性能优化。

目录


大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？

让我们一起，一探究竟，继续学习MongoDB分片的理论与实践，实现快速入门，丰富个人简历，提高面试level，给自己增加一点谈资，秒变面试小达人，BAT不是梦。

MongoDB拒绝连接？显然是MongoDB服务又挂了。

在这里插入图片描述

连接MongoDB服务器，一探究竟。

通过ps -aef|grep mongo查看mongo服务是否还在？不出所料，都不在了。

在这里插入图片描述

大概率是因为磁盘满了。

df -TH查看磁盘空间。

在这里插入图片描述

磁盘100%如何解决？

了解本专栏 订阅专栏 解锁全文
技术瓶颈？如何解决MongoDB超大块数据问题？
学Java，找哪吒
02-08 6622
MongoDB数据库实战系列，打造精品专栏。
线上真实案例:mongo被OOM的一次历险
死磕音视频
04-11 849
前言近期线上平台出现一次故障，mongo数据库被oom了，由于是高可用架构，重新选举了主节点后，继续工作，没想到刚选举完又被oom，mongo重启达到了分钟级别，多个节点被oom后，不能很快的拉起来提供服务，对业务产生了巨大的影响。分析•目前从表面来看，有这样几个问题1.内存128g，在这么高的配置下都发生了OOM，那么看来是有优化空间的，mongo为什么吃了这么多内存 2.为什么启动这么慢通过表分析，发现有很多大表，其中一个巨大的表占用了110个g，且有频繁的读写。原因是因为有很多冷数据，未做冷热数据分离
给您的 MongoDB 定期做个体检：MongoDB 诊断
NewTyun的博客
04-11 1292
新钛云服已累计为您分享739篇技术干货接下来的一些列文章会为大家介绍日常工作中常用的 NoSQL 产品 MongoDB。主要涉及到：MongoDB 的安装及基本使用 MongoDB 文档查询 MongoDB 复制集 MongoDB 分片集群的介绍及搭建 MongoDB 安全加密 MongoDB 诊断我们会用六篇文章近五万字来阐述 MongoDB 运维相关的日常实战事宜。您当前看...
MongoDB 4.4 数据库参数详细说明(四) -诊断相关参数
Expec-乐的博客
02-09 1916
诊断相关参数 普通用户一般用不到，一般遇到BUG或其他未知问题，用于MongoDB工程师诊断使用。MongoDB定期将服务器统计信息记录到诊断文件中。 对于mongod，诊断数据文件存储在mongod实例的--dbpath或storage.dbPath下的diagnostic.data目录中。 对于mongos，默认情况下，诊断数据文件存储在mongos实例的--logpath或systemLog.path目录下的目录中。 通过截断日志路径的文件扩展名并将diagnostic.data连接到其余名称来计算诊
MongoDB各类场景的故障恢复概要(持续更新)
雪辉博客
06-27 1452
文章目录一、CPU/IOPS打满三、活跃连接数打高四、磁盘打高五、副本集故障5.1 复制延迟5.2 复制中断六、分片故障6.1 shard节点宕机七、数据丢失 一、CPU/IOPS打满 结合mongostat和mongotop分析MongoDB各资源情况以及读写耗时。 #查看最近慢日志 db.system.profile.find().sort({$natrual: -1}) - 全表扫描 关注关键字“COLLSACN、docsExamined”，对全表扫描查询（或者更新/删除）建立合理索引进行优化。 -
MongoDB分片（sharding）/分区（partitioning）介绍
杨春建的博客
09-19 2万+
分片是指将数据拆分，将其分散存放在不同的机器上的过程。有时也用分区（partitioning）来表示这个概念。   几乎所有数据库软件都能进行手动分片（manual sharding）。应用需要维护与若干不同数据库服务器的连接，每个连接还是完全独立的。应用程序管理不同服务器上不同数据的存储，还管理在合适的数据库上查询数据的工作。   Mongodb支持自动分片（autosharding），可以
Mongodb 分片+副本集配置后异常分析
07-29 1506
异常描述：
一次线上事故，我顿悟了异步的精髓
芋艿V
01-25 257
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
基于Vue框架和MongoDB的医院线上预约挂号平台设计源码
09-30
该项目是一款基于Vue框架和MongoDB的医院线上预约挂号平台设计源码，包含816个文件，涵盖150个类文件、149个Java文件、138个CSS文件、94个PNG图片文件、72个JavaScript文件、46个JPG图片文件、32个HTML文件、28个XML...
MongoDB：记一次数据迁移经验
最新发布
但行好事，莫问前程
02-16 2425
针对MongoDB数据库部分集合的迁移经验：mongodump/mongorestore + compass工具
mongodb7.0.0安装包
09-04
MongoDB是一款开源、高性能、无模式的分布式文档型数据库，被广泛应用于Web应用程序、内容管理系统、数据存储等场景。此“mongodb7.0.0安装包”是针对Windows 64位操作系统的一个版本，适用于需要在Windows环境中...
MongoDB 3.2变动一览
a19860903的专栏
03-09 750
本文转自:http://www.mongoing.com/eshu_3.2 3.2测试版本总算release了！E叔带大家来一览MongoDB 3.2版本的真容。 （PS：内容比较多，在此仅针对个人认为比较重要的进行讲解，markdown写的，貌似WP的markdown插件有点奇怪，格式出来和写的时候不太一样，有点丑，大家见谅。） 以下是原文链接： Developm
mongodb的使用（三）：崩溃问题排查
weixin_43431593的博客
09-09 4458
现象 我发现，我前端页面的显示空白，查看请求返回，显示500错误： 查看服务器后台日志，显示500错误： 查看docker容器运行情况良好： 登录mongodb，发现无法登陆： 经过上述初步排查，结论是mongodb挂掉了。 问题排查 已经通过现象初步定位到了mongodb的问题，那就查看一下mongodb的日志： tail -f /var/log/mongodb/mongodb.log 如图，显示磁盘空间满了： Failed to write to interim file buffer fo
mysql索引详解
热门推荐
学Java，找哪吒
07-07 11万+
MySQL的存储引擎架构将查询处理与数据的存储/提取相分离
PostgreSQL数据库备份和恢复
学Java，找哪吒
09-10 4万+
🏆作者简介：哪吒，优快云2022博客之星Top1、优快云2021博客之星Top2、多届新星计划导师✌、博客专家💪，专注Java硬核干货分享，立志做到Java赛道全网Top N。🏆本文收录于，，目前已经700+订阅，优快云最强Java专栏，包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例，理论结合实战，实现Java的轻松学习。🏆姐妹篇，，包含面向对象、基本数据类型、数组、继承和多态、泛型、枚举等Java基础知识点。🏆姐妹进阶篇，
SQL性能优化的21个小技巧
学Java，找哪吒
08-29 4万+
真正的一文在手，优化我有！
MySql基础知识总结（SQL优化篇）
学Java，找哪吒
07-12 4万+
1、建表语句 + 联合索引 CREATE TABLE `student` ( `id` int(10) NOT NULL, `name` varchar(20) NOT NULL, `age` int(10) NOT NULL, `sex` int(11) DEFAULT NULL, `address` varchar(100) DEFAULT NULL, `phone` varchar(100) DEFAULT NULL, `create_time` timestamp .
2023年再不会Redis，就要被淘汰了
学Java，找哪吒
03-06 2万+
Redis实战系列，打造精品专栏。
既然有MySQL了，为什么还要有MongoDB？
学Java，找哪吒
01-11 2万+
MongoDB数据库实战系列，打造精品专栏。
线上mongodb数据库
01-10
### 在线部署和管理 MongoDB 数据库的方法及注意事项 #### 一、单机环境部署方法 对于初次接触MongoDB的用户来说，在单一服务器上安装并配置MongoDB是最基础也是最简单的入门方式。在Ubuntu系统中，可以通过更新包列表以及添加官方源的方式完成软件包的获取与安装工作[^3]。 ```bash sudo apt-get update sudo apt-get install -y mongodb-org ``` 而在CentOS环境下，则需先创建一个新的yum仓库文件用于指定下载路径： ```bash vi /etc/yum.repos.d/mongodb-org-6.0.repo ``` 随后执行命令来正式开始安装流程: ```bash sudo yum install -y mongodb-org ``` 启动服务之后要记得通过`systemctl status mongod.service`确认其运行状况良好，并利用客户端连接测试验证整个过程无误。另外还需注意防火墙规则可能阻碍外部访问端口的情况发生。 #### 二、集群环境搭建要点 当业务规模扩大到一定程度时，构建高可用性的副本集就显得尤为重要了。这不仅能够提高读取性能还能增强容错能力。具体做法是在多个不同物理位置上的机器分别部署好独立的服务实例后将其加入同一个Replica Set内形成协同工作的整体结构；其中涉及到的关键参数调整比如心跳检测间隔时间等都应在对应的配置文档里仔细设定以确保最佳实践效果[^4]。 #### 三、日常运维操作指南 为了便于管理和维护线上数据库资源，建议采用专门设计用来处理此类任务的应用程序——GUI工具。这类应用程序提供了直观易懂的人机交互界面让用户无需编写复杂指令就能轻松实现诸如查询记录、修改字段值或是批量导入导出等功能需求[^1]。 此外还应该定期备份重要资料防止意外丢失造成不可挽回损失的同时也要密切关注日志信息以便及时发现潜在风险因素加以防范控制。
评论 45
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值