GCP 存储模拟器使用教程

GCP 存储模拟器使用教程

gcp-storage-emulator Local emulator for Google Cloud Storage 项目地址: https://gitcode.com/gh_mirrors/gc/gcp-storage-emulator

1. 项目介绍

GCP 存储模拟器是一个本地模拟器，用于模拟 Google Cloud Storage API。Google 目前尚未提供类似 Cloud Datastore 的官方模拟器，因此这个项目填补了这一空白。通过使用 GCP 存储模拟器，开发者可以在本地环境中运行测试和进行开发，而无需连接到生产环境中的存储 API。

该项目目前仍处于开发阶段，仅支持 API 的有限子集。

2. 项目快速启动

安装

首先，通过 pip 安装 GCP 存储模拟器：

pip install gcp-storage-emulator

启动模拟器

启动模拟器的命令如下：

gcp-storage-emulator start

默认情况下，模拟器将在 http://localhost:9023 上监听请求，数据存储在 /cloudstorage 目录下。你可以通过环境变量 STORAGE_BASE 和 STORAGE_DIR 来配置存储目录。

如果希望在测试环境中运行模拟器或不希望持久化数据，可以使用 --in-memory 参数：

gcp-storage-emulator start --in-memory

配置 Google 客户端库

如果你使用的是 Google 客户端库（例如 Python 的 google-cloud-storage），可以通过设置 STORAGE_EMULATOR_HOST 环境变量来让库连接到模拟器端点，而不是标准的 https://storage.googleapis.com：

export STORAGE_EMULATOR_HOST=http://localhost:9023

清除数据

你可以通过以下命令清除数据：

gcp-storage-emulator wipe

如果希望在清除数据的同时保留存储桶，可以使用 --keep-buckets 参数：

gcp-storage-emulator wipe --keep-buckets

示例代码

以下是一个简单的 Python 示例，展示如何在代码中启动模拟器并进行基本操作：

import os
from google.cloud import storage
from gcp_storage_emulator.server import create_server

HOST = "localhost"
PORT = 9023
BUCKET = "test-bucket"

# 启动模拟器
server = create_server(HOST, PORT, in_memory=True, default_bucket=BUCKET)
server.start()

# 设置环境变量
os.environ["STORAGE_EMULATOR_HOST"] = f"http://{HOST}:{PORT}"

# 创建客户端并进行操作
client = storage.Client()
bucket = client.bucket(BUCKET)
blob = bucket.blob("blob1")
blob.upload_from_string("test1")

# 列出所有 blob 并打印内容
for blob in bucket.list_blobs():
    content = blob.download_as_bytes()
    print(f"Blob [{blob.name}]: {content}")

# 停止模拟器
server.stop()

3. 应用案例和最佳实践

应用案例

1. 本地开发与测试：在本地环境中模拟 Google Cloud Storage，避免频繁连接到生产环境，提高开发效率。
2. CI/CD 集成：在持续集成和持续部署流程中使用模拟器，确保测试环境的一致性。

最佳实践

1. 使用内存模式：在测试环境中使用 --in-memory 参数，避免数据持久化，确保测试环境的干净。
2. 配置环境变量：通过设置 STORAGE_EMULATOR_HOST 环境变量，确保客户端库连接到本地模拟器。
3. 定期清理数据：在测试结束后，使用 wipe 命令清理数据，避免数据累积。

4. 典型生态项目

1. Google Cloud SDK：Google Cloud SDK 提供了与 Google Cloud Storage 交互的命令行工具，可以与 GCP 存储模拟器结合使用。
2. Google Cloud Storage Python Client：Google Cloud Storage 的 Python 客户端库，可以与 GCP 存储模拟器无缝集成，进行本地开发和测试。
3. Docker：通过 Docker 容器化 GCP 存储模拟器，方便在不同环境中部署和使用。

gcp-storage-emulator Local emulator for Google Cloud Storage 项目地址: https://gitcode.com/gh_mirrors/gc/gcp-storage-emulator