喜报!CNCF 宣布 Dragonfly 项目正式毕业

2023 年值得关注的顶级 CNCF 项目 阅读详情

Dragonfly 在展示生产就绪能力后正式毕业, 为大规模容器和 AI 工作负载提供支持。

核心亮点:

  • Dragonfly 在 CNCF 毕业,展现了生产就绪能力,为大规模容器和 AI 工作负载提供支持。

  • Dragonfly 获蚂蚁集团、阿里巴巴、Datadog、滴滴和快手等组织使用,支撑大规模容器镜像和 AI 模型权重分发。

  • 自加入 CNCF 以来,Dragonfly 的代码贡献增长超过 3,000%,社区贡献者覆盖超过 130 家公司。

美国加利福尼亚州旧金山 – 2026 年 1 月 14 日 – 云原生计算基金会(CNCF)致力于为云原生软件构建可持续发展的生态系统,今天宣布 Dragonfly 正式毕业。Dragonfly 是一个开源的镜像和文件分发系统,旨在解决以 Kubernetes 为核心的云原生大规模镜像和文件分发问题。

CNCF 首席技术官 Chris Aniszczyk 表示:“Dragonfly 的毕业反映了该项目的成熟度、广泛的行业采用以及在扩展云原生基础设施方面的关键作用。尤其令人兴奋的是看到该项目在镜像加速和 AI 工作负载数据分发方面的价值。我们很自豪能够支持一个不断推动可扩展、高效和开放的社区。

技术能力 

Dragonfly 提供高效、稳定、安全的数据分发和加速能力,基于点对点(P2P)技术。它旨在成为云原生架构中的最佳实践和标准解决方案,以提高文件、容器镜像、OCI 制品、AI 模型权重、缓存、日志和依赖的大规模分发能力。

Dragonfly 运行在 Kubernetes 上,通过 Helm 安装,其官方 Chart 可在 Artifact Hub 上下载。在可观测性上依赖 Prometheus 和 OpenTelemetry 的能力,基于 gRPC 实现各组件间快速通信。通过预热功能增强 Harbor 分发镜像以及 OCI 制品的能力。在 GenAI 时代,随着模型服务变得越来越重要,Dragonfly 支持高效分发由 ModelPack 定义的 AI 模型制品。

Dragonfly 持续推进大规模容器镜像分发,在生产环境中每天支持千万级别的加速容器启动,节省高达 90% 的回源带宽,并将启动时间从分钟级缩短到秒级,在云原生场景中被大规模采用。

Dragonfly 还在推动 AI 模型权重分发以及 AI 工作负载的镜像布局优化。该技术显著减少了大规模 AI 工作负载的数据加载时间,能够在分钟级别将百 TB 级别的 AI 模型权重分发到上百节点。随着 AI 技术持续发展,Dragonfly 在加速大规模 AI 工作负载交付方面发挥着至关重要的作用。

毕业里程碑

Dragonfly 于 2017 年 11 月由阿里巴巴集团开源。随后于 2018 年 10 月作为 Sandbox 项目加入 CNCF。在此阶段,Dragonfly 1.0 于 2019 年 11 月达到生产就绪状态,Dragonfly 子项目 Nydus 于 2020 年 1 月开源。Dragonfly 随后于 2020 年 4 月进入 Incubation 阶段,并且 Dragonfly 2.0 于 2021 年发布。

此后,社区已显著成熟,吸引了来自蚂蚁集团、阿里云、字节跳动、快手、英特尔、Datadog、智谱 AI 等组织的数百名贡献者。

自加入 CNCF 以来,贡献者增长了 500%,从 5 家公司的 45 人增长到超过 130 家公司的 271 人。Commit 增长超过 3,000%,从约 800 次 Commit 增长到 26,000 次,总参与者人数达到 1,890 人。

未来规划

未来 Dragonfly 会基于 RDMA 加速 AI 模型权重分发,提高吞吐量并降低端到端延迟。同时优化镜像布局以减少大规模 AI 工作负载的数据加载时间。增加基于负载感知的两阶段调度,使用调度器和客户端共同协作提升整体分发效率。为提供更加稳定可靠的服务,Dragonfly 会支持自动更新和故障恢复,并在突发流量的情况下保证各组件稳定运行,并控制回源流量。

毕业流程

为了正式从孵化阶段毕业,Dragonfly 团队优化了选举策略、明确了维护者生命周期、规范了贡献流程、定义了社区阶梯,并为子项目添加了社区指南。毕业过程得到了 CNCF 技术监督委员会(TOC)赞助者 Karena Angell 和 Kevin Wang 的支持,他们与 Dragonfly 项目维护者一起进行了全面的技术尽职调查。

此外,还对项目进行了第三方安全审计。Dragonfly 团队完成了自我安全评估以及与 CNCF TAG Security 的联合安全评估,并与 Dragonfly 安全团队合作制定了威胁模型,改进了项目的安全策略。

了解更多关于 Dragonfly,欢迎加入社区:https://d7y.io/

维护者感言

“作为 Dragonfly 的创始者,看到它正式从 CNCF 毕业,内心由衷地感到激动与喜悦,也为社区的每一位开源贡献者点赞——正是你们的坚持与付出,才让 Dragonfly 走到了今天!Dragonfly 最初诞生于解决阿里巴巴集团内部的超大规模文件分发问题,并于 2017 年在阿里云云栖大会上正式宣布开源。如今,它已顺利从 CNCF 毕业,回望这段旅程,不知不觉已走过八年。这一路的每一步,都凝聚着众多参与者的开源精神与不懈努力。展望未来,希望 Dragonfly 以此为新起点,开启新征程,继续在数据分发领域探索更多可能性,创造更大价值!”

—— 胡作政,Dragonfly 创始人,荣誉维护者

“Dragonfly 从 2017 年开源已经经历了 8 年时间,非常高兴 Dragonfly 能够成为 CNCF 毕业项目。这是非常重要的里程碑,体现了社区的成熟度、用户的信任以及服务的可靠性。未来我们会在 CNCF 的支持下共同推动社区的持续发展,吸引更多的贡献者。面对 GenAI 时代大规模模型分发以及数据分发的挑战,我们会持续探索云原生生态下数据分发领域的未来。”

—— 戚文博(Gaius),Dragonfly 核心维护者

“Nydus 从 2020 年开源以来,与 Dragonfly 在生产环境历经了大规模验证,Dragonfly 的毕业对于其子项目 Nydus 也是一个重要里程碑,我们后续将会持续改进镜像文件系统的易用性与性能。在镜像生态标准化以及 AGI 场景下做更多探索以推动其 Infra 技术发展。”

—— 严松,Nydus 核心维护者

“很高兴看到 Dragonfly 和 Nydus 双剑合璧,大幅降低容器镜像和 AI 模型加载耗时,提升业务弹性效率。”

—— 刘奖,Nydus 维护者

“得益于社区的共同努力,Dragonfly 已从一个容器镜像加速工具,发展为被大型企业广泛采用的可靠生产级平台。在易用性和稳定性方面的持续提升,使其能够顺畅支持 CI/CD、边缘计算和 AI 等多样化场景。随着 AI 对模型与数据分发提出更高要求,Dragonfly 正成为应对这些挑战的关键力量。在 CNCF 的支持下,我们将继续推动云原生分发技术的未来演进。”

—— 杨源,Dragonfly 维护者

TOC 感言

“我们感谢 TOC 成员为 Dragonfly 的晋升所需的技术尽职调查投入了大量时间,也感谢支持治理和技术审查的技术负责人和社区成员。我们还要感谢项目维护者在整个过程中的开放和响应,以及与 TOC 和 TAB 成员会面分享其 Dragonfly 使用经验的终端用户。这种协作有助于确保 CNCF 生态系统的强大和可信度。”

—— Karena Angell,CNCF TOC 主席

“Dragonfly 的毕业证明了项目的技术成熟度以及社区对性能、可靠性的持续关注。看到 Dragonfly 不断发展以满足大规模生产环境和 AI 工作负载的需求,令人印象深刻。祝贺为达成这一里程碑而努力工作的维护者和贡献者们。”

—— 王泽锋(Kevin),CNCF TOC 副主席

用户感言

“恭喜 Dragonfly 项目的毕业,在过去的数年里,Dragonfly 一直是蚂蚁集团的云原生基础设施的重要组成部分,在我们的多个上万节点的集群中,提供了容器镜像与代码包的加速服务。Dragonfly 大幅节约了我们的镜像传输带宽,其子项目 Nydus 帮助我们几乎完全消除了启动容器所需的镜像传输时间。并且,随着 GenAI 时代的来临,Dragonfly 也为我们的云原生 AI 基础设施提供了模型传输加速能力。非常荣幸能够成为项目的一个贡献者、并和社区分享我们的相关实践。”

—— 王旭,蚂蚁集团容器基础设施负责人,Kata Containers 项目联合发起人

“在阿里巴巴的大规模分布式系统中,Dragonfly 已经成为我们镜像与数据分发体系中的关键基础设施。它在电商‘双 11’等超大规模场景下,为我们提供了稳定、高效的分发能力,大幅提升了系统扩容与交付的效率。面对 AI 时代的新技术挑战,Dragonfly 在模型数据分发与缓存加速场景中也展现了新的价值,助力我们构建更高效的智能计算平台。我们很高兴看到 Dragonfly 完成 CNCF 的毕业流程,这不仅代表了社区成熟度的提升,也验证了其在大规模生产环境中的可靠性。阿里巴巴将继续作为 Dragonfly 的核心用户和积极贡献者,与社区携手推动云原生分发技术的持续创新。”

—— 易立,阿里云容器服务负责人 & 黄涛,阿里集团云原生化项目负责人

“Datadog 最近开始采用 Dragonfly 的子项目 Nydus,这显著缩短了我们拉取镜像的时间。过去在 AI 工作负载中,镜像拉取往往需要 5 分钟,启动速度直接关系到应用能多快在节点上完成调度。使用 Nydus 之后,我们看到了显著的改进,如今一切都能在几秒钟内启动。我们非常高兴看到 Dragonfly 毕业,并希望为这一令人印象深刻的生态系统贡献更多力量!”

—— Baptiste Girard-Carrabin,Datadog

“我们依托分布式云平台支撑海量用户请求进行资源的快速弹性伸缩,这对底层资源分发与镜像同步的效率、稳定性有着严苛要求。Dragonfly 凭借其深度的云原生适配性、卓越的 P2P 加速能力,以及在大规模场景下的稳定支撑能力,成为我们技术架构中的核心组件。它与 Kubernetes 生态深度融合,无缝对接我们的容器化部署架构;其 P2P 分发模式大幅降低跨地域带宽消耗,同时显著提升了资源弹性伸缩的效率。我们相信,Dragonfly 的毕业是其技术成熟度与行业价值的有力佐证,也期待它在云原生分发领域持续进阶,为更多企业的大规模文件同步、镜像分发等场景提供更高效的解决方案。”

—— 吴锋,滴滴弹性云负责人 & 杨彪,滴滴弹性云负责人

“非常高兴看到 Dragonfly 项目在 CNCF 毕业,这是云原生生态的重要里程碑。在快手,Dragonfly 始终作为容器基础设施的基石,即将为公司数万服务和数十万服务器提供稳定、可靠的镜像分发能力。结合 Dragonfly 子项目 Nydus 大幅提升了应用启动效率、显著缓解了磁盘 IO 压力保障了服务稳定性。Dragonfly 在 AI 大模型时代,也作为 AI 基础设施的重要组成,为大模型分发提供了卓越的加速能力。我们深感荣幸能与充满活力的 Dragonfly 社区携手同行,共同探索云原生分发技术的未来创新。”

—— 王耀,快手容器镜像服务负责人

点击下方【阅读原文】阅读网站原文。

立即下载赞助商企划书(https://cncf.io/sponsor)了解赞助方案和市场推广机会。

图片

从CCD数据上报看wxHOOK的封号风险与规避 本文深入分析了微信CCD数据上报机制对wxHOOK的检测逻辑与封号风险,揭示了调试器路径暴露、非白名单DLL加载和内存校验失败等关键风险点。通过实战案例和规避方案,帮助开发者理解如何安全使用wxHOOK技术,避免封号风险,包括内存镜像欺骗、内核级隐蔽和硬件辅助方案等高级技巧。 阅读详情

相关推荐

基于python+flask框架的基于微信小程序的CR公司建设项目信息管理系统-前台(开题+程序+论文) 计算机毕设

特别是随着移动互联网技术的普及,企业对便捷、高效的信息管理系统的需求日益迫切。另一方面,该系统集成了仓管、物料、财务、人事、供应商等多个模块,实现了数据的集中管理和信息共享,有助于企业实现精细化管理,降低运营成本,提升决策效率。:深入调研CR公司的业务需求,明确系统应具备的功能模块,包括仓管员管理模块(物料信息、退回记录、申请信息、仓库信息管理)、财务员管理模块(资金信息管理、采购与租赁款项处理)、人事管理模块、供应商管理模块、项目管理模块(项目信息、设备采购、物料采购、设备租赁)、以及考勤打卡模块等。

zhihao503的博客 960

CNCF 已毕业项目简介之 - argo

是否可以成为 CNCF 项目需要通过技术监督委员会 (TOC),投票采取 fallback 策略,即回退策略,先从最高级别开始,如果 2/3 多数投票都通过的话则确认该级别,如果没有通过的话,则进行下一个级别的投票,如果一直到 sandbox 级别都没有得到 2/3 多数投票通过的话,则拒绝进行 CNCF 项目。与强大的自动化相结合、工程师能够以最少的工作量频繁且可预测地进行高影响力的更改。注:以上的解决方案,在我遇到的 case 里是生效的,也有人反馈遇到类似的问题,同样的操作,但是没有解决。

phantom_111的博客 1872

【Cadence软件技巧集萃】从Capture到Allergo——分布演示从原理符号导出到网络表

Cadence软件功能多样、性能强大,但是使用起来颇费步骤,尤其是从原理图到网络表的导入步骤,没有经过上手实践还真不一定一次就能搞定哩。本文笔者用将分步演示:1、在Capture软件上绘制原理图;2、将原理图导出网络表;3、在Allergo软件上更新网络表;希望给予使用Cadence的读者有效的帮助1、本文简述了建立Capture项目的步骤,演示了调用元件符号库的方法,并绘制了电气原理图;2、针对加载元件封装库可能遇到的问题,做了排查步骤建议;

qq_33175704的博客 2537

CNCF Dragonfly 毕业啦!基于P2P的镜像和文件分发系统快速入门,在线体验

Dragonfly专注于解决基于Kubernetes的云原生环境下大规模镜像与文件分发难题。该项目利用点对点(P2P)技术,提供高效、稳定且安全的数据分发与加速能力,旨在成为云原生架构中的标准解决方案,支持文件、容器镜像、OCI制品、AI模型权重、缓存、日志及依赖项的大规模分发。

藏云阁技术社区 1669

CTFmisc-------Jack

每一个文件里面都有不一样的base64编码,我尝试将其解密,发现解出来的是乱码,所以我想到真正的flag藏在这些字符串中,所以我们要写代码把字符串提取出来。提取出来后,得到很多的base64的编码,要一个一个的解码很麻烦,猜到里面有flag字样的base64编码,所以我们将flag进行base64编码,1.下载得到Jack文件夹,里面有很多的txt文件。发现这个字符串是众多编码中唯一一个没有==然后从那些base编码中寻找Zmxh字段。

woshicainiao666的博客 1万+

基于GPU的GEMM矩阵相乘运算优化

从上图中我们可以看到三种处理方法。第一种是将A和B矩阵分块,第二种方法是将C和B矩阵分块,第三种方法是将C和A矩阵分块。GEMM的子任务是GEPP或GEMP;最小粒度的任务是GEBP或GEPB或点乘。

weixin_55035144的博客 2155

镜像拉取节省 90% 以上,快手基于 Dragonfly 的超大规模分发实践

为了让快手容器云平台的镜像分发更加稳定和高效,快手容器云技术团队携手阿里云、蚂蚁集团在龙蜥社区适配,优化落地解决方案。

weixin_60347558的博客 288

个人信息保护合规审计人员(中级)能力测试试卷

本文是关于个人信息保护合规审计的考试指南,包含选择题、判断题、简答题和案例分析题。选择题考察《个人信息保护法》的关键条款,如敏感信息处理、跨境传输、委托处理等合规要求。判断题测试对个人信息处理规则的理解,如撤回同意、公开信息处理等。简答题要求阐述审计流程、个人权利、委托处理义务等内容。案例分析题以互联网企业为例,分析违规行为并提出整改建议,涉及数据收集、第三方共享、自动化决策等问题。全文旨在帮助中级审计人员掌握个人信息保护的法律规定和审计实务,提升合规审计能力。

qq_41525079的博客 547

Dragonfly 发布 2.3 版本,新增持久化缓存、资源搜索及 Vortex 协议等新特性

Dragonfly 发布 2.3.0 版本,新增多个功能特性并进行安全增强。同时,子项目 Nydus 也增加多个功能特性。本篇博客将介绍最重要的变更。有关功能增强及漏洞修复的完整列表,请查看 d7y.io 官网。

2401_85046472的博客 1039

lammps教程:实例讲解npt、nvt系综的选择

对于lammps新手来说,系综的选择令人困惑,到底是应该用nvt系综还是npt系综? 我在初学lammps时就被这个问题困扰了很久。如果去问别人,可能会告诉你一个答案:根据模拟需要确定。 其实和没说一样。 到底如何确定系综,确实不是一句两句能够说清楚的,不同的体系、不同的模拟目的要选择不同的系综。 前几天遇到的一个合金的模拟案例,比较有代表性,分享出来供大家参考。 建模方法和之前介绍过的高熵合金建模方法类似,先建立单晶模型,然后使用替换原子的命令获得合金结构。 建模完成后,按照常规,先上nvt系综进行驰豫

lammps_jiayou的博客 9767

8.30华为OD机试真题 新系统 - 单词搜索计数 (Java/Py/C/C++/Js/Go)

8.30华为OD机试真题 新系统 - 单词搜索计数 (Java/Py/C/C++/Js/Go)

算法大师! 601

Dragonfly成为CNCF孵化项目,我们与基金会首位华人TOC聊了聊

本文转载自开源中国。 推荐阅读:《重磅 | Dragonfly 晋升成为 CNCF 孵化项目》 4 月 10 日,由云原生计算基金会(CNCF)技术监督委员会投票决议,来自中国的开源项目 Dragonfly 正式晋升为 CNCF 孵化级别的托管项目,成为继 Harbor、TiKV 之后,第三个进入 CNCF 孵化阶段的中国项目。 CNCF 成立于 2015 年 7 月,是 Linux 基金会旗下的重要开源组织之一,围绕微服务、DevOps、持续交付、容器化四大特性,致力于维护和集成云原生相关开源技术.

阿里云云栖号 1528

CloudCompare 二次开发(16)——计算点云最值

不依赖任何第三方点云相关库,使用ClopudCompare计算点云最值。

点云侠的博客 517

Dragonfly 成为 CNCF 孵化项目,我们与基金会首位华人 TOC 聊了聊

本文转载自开源中国。 推荐阅读: 《重磅 | Dragonfly 晋升成为 CNCF 孵化项目》 4 月 10 日,由云原生计算基金会(CNCF)技术监督委员会投票决议,来自中国的开源项目 Dragonfly 正式晋升为 CNCF 孵化级别的托管项目,成为继 Harbor、TiKV 之后,第三个进入 CNCF 孵化阶段的中国项目。 CNCF 成立于 2015 年 7 月,是 Linux 基金会旗...

阿里巴巴云原生的博客 407

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

直击 KubeCon!三个中国开源项目加入 CNCF

从 2016 年在 Open Source Summit 举办第一次 300 人规模的 CloudNative Day 至今,短短两年时间,KubeCon + CloudNativeCon 已经成为全球云计算领域最具影响力的开源技术峰会。今年 5 月份 KubeCon 哥本哈根站盛况空前,吸引了全球 4300 多名开发者聚集在丹麦哥本哈根。11 月 13 日 -15 日,已经成功举办两届的 Kub...

weixin_34178244的博客 517

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

始于阿里,回归社区:阿里8个项目进入CNCF云原生全景图

破土而出的生命力,源自理想主义者心底对技术的信念。 云原生技术正席卷全球,云原生基金会在去年KubeCon +CloudNativeCon NA的现场宣布: 其正在孵化的项目已达14个,入驻的厂家或产品已超过300家,并吸引了2.2万开发者参与项目代码贡献,其明星产品Kubenetes 的GitHub 上Authors 和 Issues 量已排行开源领域的第二名。 今年,KubeCon + ...

阿里巴巴中间件 277

一张图看懂2400+云原生项目:CNCF landscape终极入门指南(附交互式地图使用技巧)

🌄 **CNCF Landscape(云原生全景图)** 是一张由云原生计算基金会(CNCF)官方维护的交互式地图,它将 **2400+ 个云原生项目与商业产品** 按类别分类、排序展示,并可查看每个项目的 GitHub Stars、融资情况、首次/最近提交时间、贡献者数量和总部所在地等细节。无论你是刚接触 Kubernetes 生态的初学者,还是需要快速调研云原生技术栈的架构师,这份终极入门指

gitblog_00823的博客 422

技术人聊开源:这并不只是用爱发电

近年来,中国开发者已经成为全球开源体系中的重要力量。据不完全统计,中国的代码在全球开源社区的比重已占 40% 左右,目前全球 6000 多万开发者中,至少有 2000 多万来自中国。开源是...

金融级分布式架构 247

KubeCon中国峰会首日,技术干货看这篇就够了!

  云原生领域旗舰盛会KubeCon+CloudNativeCon在2018年冬天终于来到中国,11月14日,大幕打开的KubeCon迎接了2500多名参会者,来自亚洲、北美、欧洲、澳洲等地区的科技公司和用户代表汇聚中国上海,共襄Kubernetes引领的云原生技术带给世界的革新和创举。 为什么选择在此时来中国? 在Google搜索热度分布中,Kubernetes受关注度最高的地区除去北...

k8scaptain的博客 1389

开源大阅兵:盘点那些走向世界的中国项目

“开源(Open Source)”,这个在程序员界耳熟能详的词,几乎充斥着我们的整个职业生涯。相信没有一个程序员不知道啥是“开源”,相信没有一个程序员从来没用过“开源”产品。回顾一下,我们所熟知的一些伟大开源项目几乎都出自国外的程序大师或组织。然而,这几年国人也贡献了不少优秀的开源项目与产品,甚至有一些也收到国外同行的认可与赞许。下面我们就在一起盘点下,那些产自中国,走向世界的伟大开源项目吧! K...

程序猿DD 1万+

你所不知道的阿里开源那些事儿

11月24日(本周六),Apache RocketMQ 开发者沙龙将在杭州举行。详情&amp;报名方式请见文末。破土而出的生命力,源自理想主义者心底对技术的信念。云原生技...

阿里技术 696

始于阿里,回归社区|阿里巴巴的开源之路

破土而出的生命力,源自理想主义者心底对技术的信念。 开源曾经帮助 Redhat 在传统软件市场奠定了其行业地位。无独有偶,作为云计算时代的赶超者,谷歌也拿起了开源的武器,试图打乱 A...

cj2238的博客 246

盘点那些走向世界的中国开源项目

微信搜 “GitHubDaily” 点关注设为 “星标”,每天带你逛 GitHub!作者 | DD小分队来源 |didispace.com/chinese-openso...

GitHubDaily 3238
上一篇: <span class=“js_title_inner“>SOFA Weekly|社区本周贡献、本周推荐阅读</span>
下一篇: SOFA Weekly 年末特辑|SOFAer 开源年度、社区本周贡献、本周推荐阅读
SOFAStack
博客等级 码龄7年 747粉丝 389原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值