Redis 存储断点续传文件状态的最佳实践

在断点续传系统中，如何高效地存储和更新文件上传状态是关键。得益于 Redis 高效的内存操作和多种数据结构的支持，它非常适合用于存储上传过程中的临时状态信息。下面，我们将探讨如何利用 Redis 实现文件上传状态的存储，并与数据库保持一致，确保系统的稳定与数据的可靠。

1. Redis 中存储文件上传状态

Redis 提供了丰富的数据结构，可以灵活地存储和更新文件上传的各类状态。以下是几种常见的实现方式。

使用 Hash 存储文件状态

在 Redis 中，每个文件的上传状态可以使用一个独特的键（如 file_id 或者用户 ID + 文件名的组合）来标识，所有与文件上传相关的数据（如已上传字节数、文件总大小、已上传的分块等）则存储在一个 Hash 表中。例如：

Key: file_upload:<file_id>
Fields:
  - uploaded_size: 已上传的字节数
  - file_size: 文件的总大小
  - chunks: 已上传的分块索引列表
  - status: 当前上传状态（如 "uploading", "paused", "completed"）
  - last_update_time: 上次更新的时间

存储分块上传状态

对于大文件分块上传，Redis 的集合（Set）或者列表（List）可以存储每个已上传的分块。比如：

Key: file_chunks:<file_id>
Set: {chunk_1, chunk_2, chunk_3, ...}

这样，每个上传的分块都会被记录，上传状态能被精准地追踪和管理。

使用 TTL 进行状态过期管理

对于文件上传的临时状态，可以设置适当的过期时间。比如，当文件上传完成后，自动清理 Redis 中的状态数据：

EXPIRE file_upload:<file_id> 86400  # 设置该文件状态一天后过期

这样避免了无用数据的长期占用内存。

2. Redis 与数据库保持一致

尽管 Redis 高效且快速，但它毕竟是内存数据库，系统重启或故障时，存储的数据可能会丢失。因此，将 Redis 中的断点续传状态与数据库中的持久化数据保持一致显得尤为重要。

方法 1：定期同步

最简单的方式是通过定时任务（如 Cron Job）定期将 Redis 中的上传状态同步到数据库。可以设置一个后台服务，每隔一定时间（如每小时）扫描 Redis 中所有的上传状态，将其写入数据库。

数据库表设计：

CREATE TABLE file_upload_status (
    file_id VARCHAR(255) PRIMARY KEY,
    uploaded_size BIGINT,
    file_size BIGINT,
    chunks TEXT,  -- 存储已上传的分块信息，格式为 JSON
    status ENUM('uploading', 'paused', 'completed'),
    last_update_time DATETIME
);

方法 2：实时同步

如果需要更高的实时性，可以采用实时同步的方法。每当 Redis 中某个文件的上传状态发生变化时，立即同步到数据库。可以使用消息队列（如 Kafka 或 RabbitMQ）来异步处理同步任务，或者直接在代码中同步更新。

例如：

1. 更新 Redis 中的状态时，触发异步任务。
2. 利用 Redis 的 Keyspace Notifications（键空间通知）来监听 Redis 中键的变化，并自动将变化同步到数据库。

方法 3：双写机制

双写机制是在每次更新 Redis 时，直接同步更新数据库。这种方式确保了每次写操作都会同时影响 Redis 和数据库，从而避免了数据的不一致。

例如，在更新文件上传进度时：

MULTI  # Redis 事务
HSET file_upload:<file_id> uploaded_size 1024
EXEC

-- 同时更新数据库
UPDATE file_upload_status SET uploaded_size = 1024 WHERE file_id = '<file_id>';

方法 4：系统重启后的恢复

为了在系统重启后能够恢复上传状态，可以在系统启动时从数据库加载上传状态，并同步到 Redis。这样即使服务重启，断点续传的状态也不会丢失。

for record in db.query("SELECT * FROM file_upload_status WHERE status = 'uploading'"):
    redis.hmset(f"file_upload:{
     record['file_id']}",