使用 LocalFileStore 实现本地文件系统上的键值存储

在本文中，我们将探讨如何使用 LocalFileStore 在本地文件系统中创建一个简单而有效的键值存储。它适用于在单一机器上操作，需要持久性但允许文件增加或删除的场景。

技术背景介绍

LocalFileStore 是 ByteStore 的一个持久实现，它将所有数据存储在指定的文件夹中。适用于需要简便数据访问和存储的应用程序场景，特别是在单机环境中使用时。

核心原理解析

LocalFileStore 通过在文件系统中将数据以文件的形式存储来实现键值对的持久化。每个键对应一个文件，这样可以简单地进行增删查改操作。

代码实现演示

安装

首先，我们需要安装 langchain 包：

%pip install -qU langchain

实例化

接下来，我们将示范如何实例化 LocalFileStore：

from pathlib import Path
from langchain.storage import LocalFileStore

# 指定要存储数据的根目录
root_path = Path.cwd() / "data"  # 当前工作目录下的 data 文件夹

# 创建 LocalFileStore 实例
kv_store = LocalFileStore(root_path)

数据操作

设置数据

可以使用 mset 方法来设置数据：

kv_store.mset(
    [
        ["key1", b"value1"],  # 二进制数据存储
        ["key2", b"value2"],
    ]
)

获取数据

print(kv_store.mget(
    [
        "key1",
        "key2",
    ]
))
# 输出: [b'value1', b'value2']

查看文件

存储的数据在文件系统中的表现：

!ls {root_path}
# 输出: key1 key2

删除数据

使用 mdelete 方法删除数据：

kv_store.mdelete(
    [
        "key1",
        "key2",
    ]
)

验证删除效果：

print(kv_store.mget(
    [
        "key1",
        "key2",
    ]
))
# 输出: [None, None]

应用场景分析

LocalFileStore 适用于在需要快速设置和访问键值对而又不需要复杂数据库支持的场景下的应用程序。举例来说，简单的缓存系统、本地数据备份方案等。

实践建议

1. 文件夹安全：确保指定用于数据存储的文件夹权限设置合适，以防止未经授权的访问。
2. 数据管理：定期清理不再需要的数据文件，防止文件夹膨胀以影响性能。
3. 备份策略：考虑到数据存储在本地，制定相应的备份措施以避免数据丢失。

如果遇到问题欢迎在评论区交流。

—END—