AIStore: 可扩展的AI应用存储系统

AIStore: 可扩展的AI应用存储系统

aistore AIStore: scalable storage for AI applications 项目地址: https://gitcode.com/gh_mirrors/ai/aistore

项目基础介绍和主要编程语言

AIStore（简称AIS）是由NVIDIA开发的一个轻量级对象存储系统，专为AI应用设计。该项目主要使用Go语言进行开发，充分利用了Go语言的高效性和并发处理能力。AIS旨在为大规模深度学习应用提供可扩展的存储解决方案，能够线性扩展以适应不断增长的存储需求。

项目核心功能

1. 可扩展性：AIS能够随着存储节点的增加而线性扩展，确保I/O分布的平衡和性能的提升。
2. 高可用性：提供高可用的控制和数据平面，支持端到端的数据保护、自我修复、多路镜像和纠删码。
3. REST API：提供全面的原生HTTP-based API，以及兼容Amazon S3的API，支持未修改的S3客户端和应用。
4. 统一命名空间：支持跨多个远程后端的统一命名空间，包括Amazon S3、Google Cloud和Microsoft Azure。
5. 集群网络：任何AIS集群都可以连接到其他AIS集群，从而快速访问对方托管的数据集。
6. 缓存功能：作为独立的高可用保护存储和/或LRU-based快速缓存，支持多种管理策略。
7. ETL卸载：支持在数据附近运行I/O密集型自定义数据转换，包括离线和在线模式。
8. 文件数据集：可以从任何基于文件的数据源（本地或远程）立即填充数据集。
9. Kubernetes支持：通过单独的GitHub仓库和AIS/K8s Operator提供简单的Kubernetes部署。
10. 访问控制：包括OAuth 2.0兼容的认证服务器（AuthN），用于安全和细粒度的访问控制。

项目最近更新的功能

1. 分布式洗牌扩展：支持大规模并行重分片非常大的数据集。
2. 批处理作业：提供API和CLI来启动、停止和监控批处理操作，如预取、下载、复制或转换数据集等。
3. 集成CLI：提供易于使用的CLI，包含顶级命令，如bucket、job、storage、remote-cluster、prefetch、evict等。
4. Python SDK：提供原生Python SDK，支持PyTorch集成和Boto3互操作性。
5. 性能优化：针对裸金属部署的性能调优和准备。

通过这些功能，AIStore为AI应用提供了高效、可靠和可扩展的存储解决方案，满足了从开发到生产环境的各种需求。

aistore AIStore: scalable storage for AI applications 项目地址: https://gitcode.com/gh_mirrors/ai/aistore