MongoDB文件存储利器：MongoEngine GridFS使用指南

MongoDB文件存储利器：MongoEngine GridFS使用指南

mongoengine A Python Object-Document-Mapper for working with MongoDB 项目地址: https://gitcode.com/gh_mirrors/mo/mongoengine

什么是GridFS

GridFS是MongoDB提供的用于存储和检索大型文件（超过16MB）的规范。MongoEngine通过FileField字段类型提供了对GridFS的完整支持，使得开发者可以像操作普通字段一样轻松处理大文件。

为什么需要GridFS

在传统数据库中存储大文件会遇到几个问题：

1. 单个文档大小限制（MongoDB默认16MB）
2. 大文件操作效率低下
3. 缺乏文件元数据管理

GridFS通过将文件分块存储在多个文档中解决了这些问题，同时MongoEngine的FileField提供了友好的Python接口。

基本使用

定义模型

首先定义一个包含FileField的文档模型：

from mongoengine import *

class Animal(Document):
    genus = StringField()    # 属
    family = StringField()   # 科
    photo = FileField()      # 照片文件

写入文件

使用put()方法存储文件：

marmot = Animal(genus='Marmota', family='Sciuridae')

with open('marmot.jpg', 'rb') as fd:
    # 存储文件并指定内容类型
    marmot.photo.put(fd, content_type='image/jpeg')
    
marmot.save()

put()方法会自动处理文件的分块存储，并可以附加元数据如content_type。

读取文件

读取文件内容非常简单：

marmot = Animal.objects(genus='Marmota').first()
photo_data = marmot.photo.read()          # 读取文件内容
content_type = marmot.photo.content_type  # 获取内容类型

高级特性

流式处理

对于大文件，可以使用流式处理：

marmot.photo.new_file()  # 创建新文件
marmot.photo.write('第一部分数据')
marmot.photo.write('第二部分数据')
marmot.photo.close()     # 关闭文件

marmot.save()

文件替换

替换现有文件并更新元数据：

with open('new_marmot.png', 'rb') as new_file:
    marmot.photo.replace(new_file, content_type='image/png')
marmot.save()

文件删除

删除存储的文件：

marmot.photo.delete()  # 删除GridFS中的文件
marmot.save()          # 更新文档引用

注意事项

1. 重复读取问题：读取文件后指针会停留在末尾，再次读取会得到空内容。需要先调用seek(0)重置指针：

content1 = marmot.photo.read()
marmot.photo.seek(0)  # 重置指针
content2 = marmot.photo.read()  # 现在可以再次读取

2. 引用关系：FileField仅存储文件ID，删除文档不会自动删除关联文件，必须先显式删除文件：

# 正确做法
marmot.photo.delete()  # 先删除文件
marmot.delete()        # 再删除文档

3. 性能考虑：对于超大文件，建议使用流式处理而非一次性读取。

最佳实践

1. 始终为文件设置合适的内容类型(content_type)
2. 处理完文件后及时关闭
3. 考虑添加额外的元数据字段如文件名、大小等
4. 对于频繁访问的小文件，可以考虑直接存储在文档中（小于16MB）

通过MongoEngine的FileField，开发者可以轻松实现MongoDB中大文件的存储和管理，同时享受MongoDB的分布式特性带来的优势。

mongoengine A Python Object-Document-Mapper for working with MongoDB 项目地址: https://gitcode.com/gh_mirrors/mo/mongoengine