MongoDB常见问题及解决方案

1、大量删除数据问题及解决方案

• 在线消息定时删除
• • 请求量增加，垃圾数据需要进行删除
  • 离线批量删除
  • • msgid
      
    • content
    • timestamp
    • flag
    • objectid
    • from
    • to
      
  • 针对flag=1时进行删除时的问题，并非索引或者分片结果；
    
  • 更新方式
  • • 业务层优化
    • • 逻辑删除转为直接物理删除
    • 离线删除优化
    • • 每晚定时从库导出要删除的数据
      • 通过脚本按照objectid方式进行删除
      • 删除速度基本可控
      • 避免对线上服务影响
        

2、大量数据空洞问题及其解决问题方案

• 出现原因
• • 项目上线时间畅
  • 积累了很多“无用”历史数据
  • 为了提高性能，删除“无用”利用历史数据
  • 减少了数据存储大小，期房提高数据库服务能力
• 问题
• • 大量删除数据，存储空洞
  • 空洞数据加载内存
  • 导致内存有效服务低
  • 数据不断在swap
  • 数据库性能没有明显提高
• 解决方案
• • MongoDB数据空间的分配以DB为单位
  • 不是以Collection单位
  • 问题大量碎片无法使用与整理
  • 碎片整理、空洞合并收缩
• 方法
• • Online Compress
  • Compact
  • • db.yourCollection.runCommand("compact");
    • Collection级别压缩
      
    • 影响服务
    • 压缩效果差，不推荐使用
  • 方案二：
  • • remove空洞，重新生成一份无空洞数据
    • • 预热从库，并将从库提升为主库
      • 将之前主库数据全部删除
      • 重新同步
      • 同步完成后预热词库
      • 将此库提升为主库
      • 完全无碎片，收缩率100%
        
      • 持续时间长、投入维护成本高
      • 收缩过程单点有风险

3、存储量及并发量增大，CPU飙升问题及解决方案

• MongoDB集群存储量变大，请求量变大
• 请求高峰期，请求高峰期，数据库报警不断，业务报警不断
• 业务请求数据超时，业务无法正常提供服务，确定业务模块正常
• 查看主库进程，上下文切换极高
  

4、MonogDB数据迁移抖动及问题

• AutoSharding自动迁移，对应用程序完全透明
• 使用单库单表一样简单
• 解决方案
• • 禁用Auto-Sharding
  • 开启数据库分片
    
  • 特定库固定到某一分片
  • 手动分片

5、内存频繁swap、磁盘IO性能不足问题及解决方案

• 业务发展，存储，请求量不断升级，内存无法完全存储热点数据
• swap严重，队列堆积，枷锁严重
• 解决方案
• • scale up
  • • 硬件升级
    • 软件升级
    • • 缓存
      • 收缩
      • 查询语句优化
  • scale out
  • • repliset

6、地理空间索引查询及重构消耗多CPU资源问题及解决方案

• 查询附近，构建和使用
  
• 速度较慢读写
• 内存消耗大量CPU
• 解决方案
• • 方案一
  • • 数据规模拆分
    • GB界别
    • 情况好转
  • 方案二
  • • MongoDB地理空间问题初期稳定性有待验证
    • 不再使用MongoDB空间索引
    • 针对空间地理查询修改服务，直接接入使用，服务能力大大提升