如何优雅地玩转 AIGC？DigitalOcean 开发者沙龙全记录

上周六（6月7日），​ 由卓普云与 DigitalOcean 联合主办 ​的“DigitalOcean 开发者沙龙”在北京圆满落幕。本次有100 位开发者与 AI 行业从业者参加了活动，现场座无虚席。

这是卓普云与 DigitalOcean 在中国地区举办的首场沙龙，活动以“如何优雅的玩转 AIGC——训练、推理、知识库的那些事儿”为主题，邀请了Juicedata 合伙人、WaveSpeedAI 创始人、DigitalOcean云方案专家兼卓普云科技解决方案架构师、商汤科技大装置事业群研发总监，以及 NebulaGraph GenAI 解决方案架构师，分享了他们在 AI 产品研发、GPU 选型与成本优化、模型性能优化等方面的经验，并与观众近距离交流。（如需获取现场 PPT 请访问卓普云官网咨询）

JuiceFS在大规模 AI 场景中遇到的存储挑战与实践经验

JuiceData 合伙人 苏锐的演讲内容主要围绕 JuiceFS 在大规模 AI 场景中面临的存储挑战与解决方案展开。JuiceFS 是一个为云设计的分布式文件系统，广泛应用于 GenAI、自动驾驶、量化交易等领域。它支持开源版和企业版，具备高扩展性、高性能以及 POSIX 兼容性。

在 AI 业务的不同阶段（数据摄入、处理、训练、推理），存储需求各不相同。例如，在训练阶段，对 I/O 吞吐和延迟要求极高；而在推理阶段，模型加载速度成为关键瓶颈。传统方案依赖对象存储与高性能文件存储的结合，但存在数据迁移复杂、一致性管理难、成本高等问题。JuiceFS 提供了一站式解决方案，避免数据“搬家”，提升效率。

实战经验显示，JuiceFS 可支持单卷超过 200 亿文件，元数据 QPS 高达 450K，读 QPS 达到 300K，平均延迟仅 0.4ms，吞吐可达 70GBps。在 LLM 训练中，通过 NVMe 缓存加速，实现超 300GBps 聚合吞吐。在推理阶段，相比直接从对象存储加载模型，JuiceFS 可将速度提升 4–5 倍，并支持多云/跨区域自动复制。

JuiceFS 提供了适合云环境的高性能、易扩展、兼容性强的存储方案，适用于 AI 全流程场景，帮助企业应对大规模数据挑战。

企业级RAG性能优化实践

商汤科技研发总监王志宏的演讲《企业级RAG性能优化实践》深入探讨了RAG（检索增强生成）技术在企业级应用中的优化策略。RAG结合了信息检索和文本生成，旨在提升大型语言模型（LLM）的准确性和实用性，解决LLM幻觉和知识时效性问题。

演讲首先介绍了RAG的基本流程，即通过检索组件获取相关上下文，再由生成组件结合上下文和用户查询生成响应。传统RAG主要针对文本数据，但为了支持多模态输入和输出，演讲提出了多模态RAG架构，需要扩展检索模块以支持多模态检索（如图像、视频），并引入多模态编码器、多模态融合器和多模态解码器。

为了优化企业级RAG的性能，演讲着重强调了以下几个关键点：

1. 分层检索与语义理解：构建多层索引体系，实现从粗粒度到细粒度的精确检索，并结合语义理解技术，提升检索的准确性和召回率。
2. RAG流程优化：通过优化检索阶段的Embedding模型、利用知识图谱增强检索、以及优化生成阶段的Prompt工程和多轮对话管理，提升RAG整体效果。
3. 大模型与Agent的融合：探讨了如何将大模型与Agent结合，实现更复杂的任务流编排和自主决策能力，例如LazyLLM框架的应用。
4. 性能监控与评估：强调了在企业级应用中，需要建立完善的性能监控和评估体系，包括离线评估和在线评估，以持续优化RAG系统的性能。

演讲提供了一套全面的企业级RAG性能优化实践方案，涵盖了从基础架构到具体优化技巧，并展望了多模态RAG和Agent的应用前景，对于在实际业务中部署和优化RAG系统具有很强的指导意义。

构建图和视频生成式大模型最快的推理框架

WaveSpeedAI 创始人成泽毅在演讲最开始介绍到，WaveSpeedAI 作为 AI 生成与加速平台，致力于打造极速多模态生成引擎，赋能开发者与企业加速 AI 创新应用与商业化进程。公司聚焦 AI 视频和图像生成技术，通过前沿算法与高性能基础设施（如 NVIDIA B200 和 H100 GPU），实现高效、低成本的内容生成能力。

在市场方面，AI 视频生成行业正处于快速增长期，预计到 2030 年将达到 20 亿美元规模。WaveSpeedAI 精准满足用户对成本、延迟和可靠性的综合需求，尤其适合内容营销自动化、个性化推荐和互动娱乐等场景。其目标用户包括 AI 工具厂商（如 Freepik、Replicate）、独立开发者（Indie Hacker）、内容创业者以及 IDC 合作伙伴等。

核心技术优势体现在生成速度和成本效益上：视频生成速度可达 30 秒，P95 API 延迟低于 200 毫秒；单视频生成成本低至 $0.05，单张图像仅 $0.001。平台提供高可用性（>99.95%）和弹性扩展能力，支持大规模并发调用。

商业模式方面，WaveSpeedAI 提供灵活的付费方式，包括 API 按量付费、订阅套餐和大客户定制服务。早期市场验证积极，已吸引数十家 AI 应用开发者和内容平台试用，API 日均调用量达百万级别，并与多家 IDC 服务商达成合作。

WaveSpeedAI 凭借领先的技术能力和灵活的商业模式，正在成为 AI 多模态生成领域的核心基础设施，助力全球开发者和企业实现高效创新。

NebulaGraph: 如何使用 GraphRAG 构建企业级知识库

Nebula GenAI 解决方案架构师邵晓凌的演讲主题是《如何使用GraphRAG构建企业级知识库》。他在演讲中重点介绍了GraphRAG技术，该技术结合了图数据库（Graph Database）和RAG（检索增强生成），旨在解决传统RAG在处理复杂关联数据和推理任务时的局限性，从而构建更智能的企业级知识库。

Processed with VSCO with a9 preset

演讲首先介绍了图数据库在处理复杂关系数据方面的优势，强调了其在构建知识图谱、实现关联查询和复杂推理方面的独特能力。随后，演讲深入阐述了GraphRAG的核心理念，即利用知识图谱的结构化信息和语义关系来增强RAG的检索和生成能力。

GraphRAG的关键特性和优势体现在：

1. 多类型索引构建：支持构建Graph（图）、Vector（向量）和FullText（全文）索引，以适应不同类型的检索需求。向量索引和全文索引适用于快速检索相似性文档，而图索引则擅长处理全局性问题和复杂推理任务。
2. 先进的GraphRAG策略：通过零代码的方式，让业务人员能够快速应用前沿的GraphRAG能力，例如Text2GQL（自然语言到图查询）功能，它利用CoT（思维链）提示工程、预定义Schema、Schema推理、图算法增强以及Agentic Self-Reflection等技术，将自然语言问题转化为图查询，从而在大模型问答中进行更精确的推理和检索。
3. 索引可视化管理：提供索引可视化展示功能，方便运维人员管理和查看构建的索引信息，包括全文索引的关键字检索、向量索引的TopN Chunk检索以及图索引的节点和边信息展示。

通过将图数据库与RAG技术深度融合，GraphRAG能够显著提升企业级知识库在处理复杂查询、多跳推理和知识发现方面的能力，克服传统RAG可能存在的“幻觉”和知识召回不准确的问题，从而帮助企业更有效地利用其海量关联数据，发现更多价值。

从选型到架构，构建AI训练和推理算力

卓普云科技解决方案架构师兼DigitalOcean Cloud Solutions Expert 丁可，他的演讲《从选型到架构，构建AI训练和推理算力》详细介绍了其作为云服务提供商，如何助力企业构建和优化AI训练及推理的算力基础设施。演讲强调了DigitalOcean“简约且完整的云平台”的定位，旨在为团队提供高效且经济的AI算力解决方案。

演讲指出，AI 模型训练和推理对计算资源有极高要求，尤其是在模型规模不断扩大的趋势下（如 Llama3 70B、Qwen 235B 等），需要高性能、高带宽、低延迟的 GPU 支持。DigitalOcean 提供了从入门级到旗舰级的多种 GPU 实例类型，包括 RTX 4000 Ada、L40S、A100、H100、MI300X、H200 等，并计划推出 B200/B300 ，满足不同规模模型的需求。同时，裸金属 GPU 实例提供高达 3.2Tbps 的 RoCE2 网络带宽，适合大规模分布式训练场景。

在AI算力构建方面，演讲重点阐述了以下几个核心内容：

1. GPU基础设施与弹性扩展：DigitalOcean提供了高性能的GPU实例，并结合DOKS服务，简化了Kubernetes管理，支持GPU和CPU混合负载，实现弹性扩展，特别适用于LLM（大型语言模型）的推理业务。通过Horizontal Pod Autoscaler和负载均衡器，可以根据流量需求自动调整资源，确保服务的高可用性和性价比。
2. 数据存储与管理：提供了多种托管数据库服务，如OpenSearch、Valkey（Redis）、Kafka、MongoDB、MySQL和PostgreSQL，满足AI应用对实时搜索、缓存、数据流处理和结构化/非结构化数据存储的需求。
3. 网络与安全：强调了内网互联和私有网络对于AI训练和推理性能的重要性，以及通过云防火墙、VPC等服务保障数据安全。
4. 成本效益与易用性：DigitalOcean致力于提供高性价比的云服务，通过简化操作、预部署AI/ML软件和无流量费等政策，降低用户的使用门槛和运营成本。

此外，DigitalOcean 还提供 GenAI 平台，可以支持开发者快速构建 AI Agent、知识库（RAG）、多智能体工作流等应用，打造端到端 AI 开发与推理闭环。

DigitalOcean 正通过持续优化硬件基础设施与云原生服务，为开发者和企业提供高效、稳定、低成本的 AI 算力解决方案。目前，在卓普云的持续服务与支持下，中国地区已经有几十家公司正在使用 DigitalOcean 的 GPU Droplet 服务器，以及相关的云服务产品。