【案例】--“超大容量”存储思考

最新推荐文章于 2025-06-13 15:06:56 发布

DreamBoy_W.W.Y

最新推荐文章于 2025-06-13 15:06:56 发布

阅读量249

点赞数

分类专栏：案例文章标签： java

本文链接：https://blog.youkuaiyun.com/xunmengyou1990/article/details/137429749

版权

案例专栏收录该内容

20 篇文章 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

本文针对项目中遇到的超大容量文件存储问题，探讨了MongoDB的GridFS解决方案。GridFS是MongoDB用于存储大文件的规范，它通过将文件分割为256KB的块存储在files和chunks两个集合中，解决了单个文档大小限制的问题。文章详细介绍了GridFS的工作原理和存储机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、前言

案例背景：
最近项目遇到一个问题，用户在创作时，有文件流、图片、超链接、文本等信息产生，而这些信息的容量高达几十M【超大容量的信息】。由于历史技术方案局限性，将超大容量的信息存入mongodb/ES的一个字段中。导致查询时往往会内存泄漏或接口响应慢等现象。
思考：
面对上面的问题，有这些思考：(1)、对于超大容量的文件该如何去存储？(2)、如果是超大容量的二进制信息流该如何存储？
----基于超大容量的文件存储，在【(非结构化)文件管理案例】中有详细介绍。下面主要介绍“超大容量的二进制流的存储”。

二、GridFS

对于超大容量的文件/二进制信息流，Mongodb提供GridFS可满足。GridFS是MongoDB的一个用来存储/获取大型数据（图像、音频、视频等类型的文件）的规范，能存储超过文档大小(16MB)限制的文件。
工作原理是：在GridFS存储文件是将文件分块存储，文件会按照256KB的大小分割成多个块进行存储。GridFS使用两个集合（collection）存储数据：
files：包含元数据对象（如文件的名称、上传的时间&#