2023 GLCC 报名开启啦｜Dragonfly & Nydus 项目一览

2023

GLCC 报名开启

—— GitLink 编程夏令营 ——

 Dragonfly & Nydus 项目一览

活动介绍

GitLink 编程夏令营（GLCC），是在 CCF 中国计算机学会指导下，由 CCF 开源发展委员会（CCF ODC）举办的面向全国高校学生的暑期编程活动。活动将覆盖近千所高校，并联合各大开源基金会、开源企业、开源社区、开源专家，旨在鼓励青年学生通过参加真实的开源软件开发，提升自身技术能力，为开源社区输送优秀人才。为青年学生提供开放友好的交流平台，希望进一步推动国内开源社区的繁荣发展。

无奖金项目申请流程：

1、参与 GitLink 编程夏令营无奖金项目的同学，请通过邮件或电话与课题导师直接沟通并根据导师课题要求完成课题，无需在 GLCC 平台报名课题。

2、参与 GitLink 编程夏令营无奖金项目的同学，如完成课题并经导师评定通过，将会在 GLCC 官网进行公示（无奖金奖励）。

3、活动最终解释权归 GLCC 所有。

课题完成奖励：

1、蚂蚁集团，龙蜥社区发放的结业证书&礼包。

2、GLCC 组委会公示&结业。

3、项目产出技术文章，我们会帮助推广在各技术博客、公众号进行推广，打造您的开源社区技术影响力。

活动地址：https://www.gitlink.org.cn/glcc/freeproject

项目列表

Dragonfly

Dragonfly 是一款基于 P2P 的镜像加速和文件分发系统。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在 AI 数据分发、文件分发、日志分发和镜像分发等领域被大规模使用。

自 2017 年开源以来，Dragonfly 被许多大规模互联网公司选用并投入生产使用，并在 2018 年 10 月正式进入 CNCF，成为中国第三个进入 CNCF Sandbox 级别的项目。2020 年 4 月，CNCF 技术监督委员会（TOC）投票决定接受 Dragonfly 作为 Incubating 级别的托管项目。Dragonfly 多年生产实践经验打磨的下一代产品，它汲取了上一代 Dragonfly 1.x 的优点并针对已知问题做了大量的优化，在解决大规模文件分发场景下有着无可比拟的优势。

课题一

Triton Server 基于 Dragonfly 分发模型数据

目的是在 Triton Server 分发过程中解决推理模型拉取时，可能会存在性能带宽瓶颈的问题，所以本项目需要 Dragonfly 通过 P2P 能力提高 Triton Server 模型拉取速度，主要供过 Plugin 方式将 Dragonfly P2P 能力集成到 Triton Server 中。

课题链接：https://github.com/dragonflyoss/Dragonfly2/issues/2185

导师姓名：戚文博

邮箱地址：gaius.qi@gmail.com

课题二

TensorFlow Serving 基于 Dragonfly 分发模型数据

目的是在 TensorFlow Serving 分发过程中解决推理模型拉取时，可能会存在性能带宽瓶颈的问题，所以本项目需要 Dragonfly 通过 P2P 能力提高 TensorFlow Serving 模型拉取速度，主要供过 Plugin 方式将 Dragonfly P2P 能力集成到 TensorFlow Serving 中。

课题链接：https://github.com/dragonflyoss/Dragonfly2/issues/2177

导师姓名：戚文博

邮箱地址：gaius.qi@gmail.com

课题三

Dragonfly 单元测试 & E2E 测试

提高 Dragonfly 项目测试覆盖率，主要为 Golang 单元&E2E 测试为主。主要新增测试模块为 Manager&Scheduler，同时在测试代码 Coding 过程中，修复已有问题，通过测试来由浅入深了解项目的技术原理。

课题链接：https://github.com/dragonflyoss/Dragonfly2/issues/2498

导师姓名：戚文博

邮箱地址：gaius.qi@gmail.com

课题四

Dragonfly 项目技术官网文档优化

通过对 Dragonfly 项目官网 https://d7y.io/ 使用文档的优化，了解 Dragonfly 项目 P2P 技术的原理。并且过程中对于技术有更深入的理解，掌握整个项目的部署以及使用。

课题链接：https://github.com/dragonflyoss/Dragonfly2/issues/2447

导师姓名：戚文博

邮箱地址：gaius.qi@gmail.com

Nydus

Nydus 镜像加速框架提供了镜像按需加载的能力，它已在生产环境支撑了每日百万级别的加速镜像容器创建，将容器端到端冷启动时间从分钟级降低到了秒级。Nydus 目前由蚂蚁集团，阿里云，字节跳动联合研发，并在龙蜥社区等开源社区中积极开展研发活动。Nydus 同时也是 Kata Containers 与 Linux 内核态原生支持的镜像加速方案。

课题一

Nydus snapshotter 实现不落盘的配置热加载

Nydus snapshotter 提供多种方式获取镜像中心凭证，但其中敏感信息存储于本地硬盘并不安全。为解决这一问题，我们希望能够在 Nydus 中提供 API 接口，允许动态传递配置信息而非本地文件路径。此方案需考虑热升级、故障转移及其他相关问题。

课题链接：https://www.gitlink.org.cn/dragonflyoss/image-service/issues/8

导师姓名：瞿沁麒

邮箱地址：quqinqi@linux.alibaba.com

课题二

Nydus 支持从容器提交镜像的能力

对于运行中的 Nydus 镜像容器，我们希望提供类似于 Docker commit 的容器提交操作，将容器的可写层打包成新的 Nydus 镜像，这样可以帮助用户能以更自然的方式使用 Nydus 镜像。这种操作可以在 Nydusify commit 或 Nerdctl commit 中得到支持。

课题链接：https://www.gitlink.org.cn/dragonflyoss/image-service/issues/12

导师姓名：瞿沁麒

邮箱地址：quqinqi@linux.alibaba.com

课题三

Nydus 提供 AI 模型场景下更易用的分发能力

在 AI 场景下，模型数据的分发通常采用对象存储或云盘挂载等方式。针对此问题，我们希望能够充分使用 Nydus 的 Chunk 去重技术来减少 AIGC 应用模型的增量大小，并提供支持在对象存储中挂载模型数据以实现数据懒加载的能力。

课题链接：https://www.gitlink.org.cn/dragonflyoss/image-service/issues/10

导师姓名：赵尚

邮箱地址：zhaoshangsjtu@linux.alibaba.com

课题四

在 BuildKit 中支持以 Nydus 为基础构建镜像

目前，Docker 官方的 BuildKit 项目已经支持导出 Nydus 镜像，但是还不支持在 Dockerfile 中将 Nydus 作为基础镜像。为此，我们需要依靠 Nydus snapshotter，在 BuildKit 中实现 Nydus 镜像的挂载，从而实现镜像构建的懒加载，进一步提升构建速度。

课题链接：https://www.gitlink.org.cn/dragonflyoss/image-service/issues/11

导师姓名：严松

邮箱地址：yansong.ys@antgroup.com

课题五

集成 Containerd Transfer 插件拉取 Blob 数据

目前，Nydus snapshotter 中的许多功能需要拉取镜像 Blob 数据，但现有方案仍存在许多不兼容的问题。如果采用 Containerd 的 Transfer Service 方案来扩展数据传输功能，就可以解决许多现有问题，例如：镜像中心凭证处理，HTTPS 回退问题，HTTPS 证书校验等等。

课题链接：https://www.gitlink.org.cn/dragonflyoss/image-service/issues/13

导师姓名：赵尚

邮箱地址：zhaoshangsjtu@linux.alibaba.com

欢迎扫描下方二维码加入钉钉群交流，或搜索群号：31047501 入群，期待大家报名参加！

点击底部“阅读原文”直达活动地址🧚‍♀️🧚‍♀️🧚‍♀️

   推荐阅读  

火山引擎基于 Dragonfly 加速实践

Dragonfly 最新版本 v2.0.9 发布

Nydus 在约苗平台的容器镜像加速实践

蚂蚁安全科技 Nydus 镜像加速实践