TileDB 开发者指南

TileDB 开发者指南

TileDB The Universal Storage Engine 项目地址: https://gitcode.com/gh_mirrors/ti/TileDB

1. 项目介绍

TileDB 是一个强大的存储引擎，用于存储和访问稠密和稀疏的多维数组。它可以高效地帮助您建模任何复杂数据。TileDB 是一个嵌入式的 C++ 库，支持 Linux、macOS 和 Windows 操作系统。该项目开源，并遵循宽松的 MIT 许可证，由 TileDB, Inc 开发和维护。我们通常将其称为 TileDB 嵌入式，以区分其他 TileDB 产品。

TileDB 的主要特点包括：

• 支持稠密和稀疏数组
• 支持 DataFrame 和键值存储（通过稀疏数组实现）
• 云存储支持（AWS S3、Google Cloud Storage、Azure Blob Storage）
• 阵列分块（瓦片化）
• 多种压缩、加密和校验过滤方式
• 完全多线程实现
• 并行 IO
• 数据版本控制（快速更新，时间旅行）
• 数组元数据
• 数组组
• 基于 C++ 库的多种 API
• 与多种工具和框架的集成（Spark、Dask、MariaDB、GDAL 等）

2. 项目快速启动

安装 TileDB C++ 库

使用 Conda 安装（适用于 macOS、Linux、Windows）：

$ conda install -c conda-forge tiledb

或者使用 Docker 镜像：

$ docker pull tiledb/tiledb
$ docker run -it tiledb/tiledb

运行示例

项目提供了多个示例，你可以从以下示例开始：

• 稠密数组示例
• 稀疏数组示例

3. 应用案例和最佳实践

TileDB 可以应用于多种场景，例如基因组学、地理信息系统、金融等。以下是一些应用案例和最佳实践：

• 基因组学：TileDB-BioImaging 用于生物医学成像，支持使用 WebP 进行图像优化压缩。
• 地理信息系统：TileDB 集成了 GDAL、PDAL、Rasterio 等地理空间工具。
• 单细胞基因组学：TileDB-SOMA 是基于 TileDB 实现的 SOMA 规范。
• 基因变异数据：TileDB-VCF 是用于基因变异数据的库和查询引擎。

4. 典型生态项目

TileDB 团队维护了多种基于 C++ 库的 API：

• C
• C++
• Python
• R
• Java
• Go
• C#

此外，TileDB 还与以下流行数据库和数据科学工具集成：

• Spark
• Dask
• MariaDB
• PrestoDB
• Trino

通过上述指南，您可以开始使用 TileDB 并探索其强大的数据存储和管理能力。

TileDB The Universal Storage Engine 项目地址: https://gitcode.com/gh_mirrors/ti/TileDB