Dragonfly 基于 P2P 的文件和镜像分发系统

SOFAStack SOFAStack 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 614平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-01-16 16:22:47 发布 614 阅读 AI 写同款· GEO 优化 ›
智能镜像分发工具dragonfly的安装和使用 一、概述 最近在研究k8s，有时候会遇到镜像拉取缓慢的问题，尤其是必须在多个主机上复制镜像分发时效率较低，之后查阅资料发现这个dragonfly是通过p2p技术解决镜像传输和分发的问题的，在这里将我的学习过程做一个记录。 Dragonfly一个开源的基于P2P镜像及文件分发系统，由阿里巴巴开源的云原生镜像分发系统 Dragonfly，面向以 Kubernetes 为核心的分布式应用编排系统，前瞻性地解决了云原生镜像分发的下列三大难题： 效率：借助 P2P 与 CDN 技术，缩减镜像传输时间，提升分发效率， 阅读详情

在这里插入图片描述

文｜孙景文、吴迪（Dragonfly Contributor）

本文 4138 字 阅读 10 分钟

背 景

网络下载

提起网络下载领域，你应该首先会想到基于 TCP/IP 协议簇的 C/S 模式。这种模式希望每一个客户机都与服务器建立 TCP 连接，服务器轮询监听 TCP 连接并依次响应，如下图：

在这里插入图片描述
上世纪末期，基于 C/S 模式的思想，人们发展了 HTTP， FTP 等应用层协议。然而 C/S 模式的弊端很明显：服务器的负载过大，下载速率过慢。随着互联网规模的增大以及客户对于下载数据大小，下载速率等需求的上升，这些弊端被不断放大。

P2P 下载原理

基于上述背景，有人结合 P2P 网络与负载均衡的思想，提出 P2P 下载模式。这种模式不再把所有的下载压力丢给服务器，服务器只负责传递文件元数据，真正的文件下载连接建立在客户机与客户机之间。同时一个文件可以被分片为多个块，同一个文件中不同的块可以在不同的客户机之上下载，使得下载文件在 P2P 网络中动态流通，大幅提升了下载效率，如下图：

在这里插入图片描述
去中心化的 P2P 下载基于 DHT 技术，它采用分布式全网方式来进行信息的存储和检索。所有信息均以哈希表条目形式加以存储，这些条目被分散地存储在各个节点上，从而以全网方式构成一张巨大的分布式哈希表。在此基础上做到对单服务器的去中心化，哈希表负责对负载的分摊，将全网负载均摊到多个机器之上。

项目简介及架构概述

Dragonfly 是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。

原理

Dragonfly 结合 C/S 架构与 P2P 架构的优点。它提供面向客户的 C/S 架构下载模式。同时它也提供面向服务器集群的 P2P 回源模式，与传统 P2P 不同的是，对等网络建立在 Scheduler 内部，目标是最大化 P2P 内部下载效率，如下图：

在这里插入图片描述

架构简介

Dragonfly 面向镜像分发和文件分发，结合 P2P 网络和服务器集群的思想，向用户提供稳定的，高效的下载服务。Dragonfly 希望在服务器内部构建 P2P 网络，将服务器的不同主机节点分为 Manager、Scheduler、Seed Peer 以及 Peer 四个角色，分别提供不同的功能。

其中 Manager 提供总体配置功能，拉取其他角色的配置并相互通信。Scheduler 提供下载调度功能，其调度结果直接影响下载速率。Seed Peer 负责回源下载，从外部网络中拉取所需的镜像或文件。Peer 作为 C/S 架构中的服务器，通过多种协议向客户提供下载功能。架构图如下：

在这里插入图片描述

其中，Seed Peer 支持使用多种协议从外部网络中回源下载，同时也支持当作集群当中一个 Peer 使用。Peer 提供基于多种协议的下载服务，也提供为镜像仓库或其他下载任务的代理服务。

组件详解

Manager

Manager 在多 P2P 集群部署的时候扮演管理者的角色，提供前端控制台方便用户进行可视化操作 P2P 集群。其主要提供动态配置管理、维护集群稳定性以及维护多套 P2P 集群的关联关系等功能。对于维护集群整体稳定性 Manager 和各个服务保持 Keepalive 保证能够在实例异常情况下将异常实例进行剔除。动态配置管理可以在 Manager 上面操作各个组件的控制单元，比如控制 Peer 和 Seed Peer 的负载数，Scheduler 调度 Parent 的个数等。

Manager 也可以维护多套 P2P 集群关联关系，一个 Scheduler Cluster、一个 Seed Peer Cluster 和若干个 Peer 组成一个完整的 P2P 集群，当然不同 P2P 集群可以是网络隔离的。正常情况下采用一个机房一套 P2P 集群，统一由一个 Manager 管理多个 P2P 集群。

Scheduler

Scheduler 主要工作就是为当前下载节点寻找最优父节点并触发 Seed Peer 进行回源下载。 在适当时候让 Peer 进行回源下载。Scheduler 在启动时，先向 Manager 注册，注册成功后初始化动态配置客户端，并从 Manager 拉取动态配置，接下来启动 Scheduler 自身所需的服务。

Scheduler 的核心就是选取一组最优 Parent 节点供当前下载 Peer 进行下载。Scheduler 面向 Task，一次 Task 就是一次完整的下载任务，在 Scheduler 中存储 Task 信息和相应 P2P 下载网络的 DAG。调度过程是首先过滤异常 Parent 节点，根据多维度进行过滤，比如判断该 Peer 是否是 BadNode，判断逻辑为假设每个节点的响应时长都遵循正态分布，若一个节点目前的响应时长处于 6σ 范围之外，那么认为该节点是 BadNode，剔除该节点。再根据历史下载特征值对剩余待定 Parent 节点进行打分，返回一组分数最高的 Parent 提供给当前 Peer 进行下载。

在这里插入图片描述

Seed Peer 和 Peer

Seed Peer 和 Peer 有很多相似之处。他们都是基于 Dfdaemon，不同的是 Seed Peer 采用 Seed Peer 模式，支持主动触发回源下载。Peer 采用 Peer 模式，作为 C/S 架构中的服务器向用户提供下载功能，支持被 Scheduler 被动触发回源下载。

这表明 Peer 和 Seed Peer 的关系不是固定的，一个 Peer 可以通过回源使自己成为 Seed Peer，Seed Peer 也可以改动运行状态变为 Peer，Scheduler 会动态地对相应 DAG 进行改动。另外 Seed Peer 和 Peer 都需要参与调度下载过程当中，Scheduler 可能会选取 Seed Peer 或者 Peer 作为父节点向其他 Peer 提供下载功能。

Dfstore 和 Dfcache

Dfcache 是 Dragonfly 的缓存客户端，它与 dfdaemon 通信并对 P2P 网络中的文件进行操作，其中 P2P 网络充当缓存系统。可以在 Scheduler 中存储相应 Task 和 DAG。

Dfstore 是 Dragonfly 存储客户端. 其可以依赖不同类型的对象存储服务作为 Backend，提供稳定的存储方案，现在支持 S3 和 OSS 。Dfstore 依赖 Backend 对象存储服务结合 P2P 本身的加速特点。可做到快写快读，并且能够节省回源以及跨机房流量，减少源站压力。

优势

稳定性

Dragonfly 会自动隔离异常节点来提高下载稳定性，Dragonfly 中各个组件通过 Keepalive 与 Manager 进行联系，Manager 能够保证返回给 Peer 的 Scheduler 地址和返回给 Scheduler 的 Seed Peer 地址都是可用的。不可用的 Scheduler 和 Seed Peer 不会被 Manager 推给需要进行下载任务的 Peer 或 Scheduler，从而达到隔离异常节点的目的，这也是实例维度的异常隔离，如下图：

在这里插入图片描述

另外 Dragonfly 在调度时以 Task 为单位，也确保了整个调度过程的稳定性。在收到一个新的 Task 调度请求之后，Scheduler 触发 Seed Peer 进行回源下载；在收到一个已有 Task 的调度请求之后，Scheduler 调度最优 Parent Peer 集合返回给 Peer。这个逻辑确保了无论 Task 是否下载过，Dragonfly 都可以对其进行处理。此外在 Scheduler 调度过程中，对响应时长过慢的 Peer ，认为目前是异常节点，将不会作为 Parent Peer 被返还。这也是 Task 维度的异常隔离。

高效性

Dragonfly 采用 P2P 进行服务端内部的回源，P2P 下载本身即分摊负载，将每个服务端节点的负载降到最低，有以下几个细节保证了 Dragonfly 下载的高效性：

- Scheduler 通过为每个可能的 Parent 打分，返回给 Peer 目前局部最优的 Parent 集合，Peer 基于此集合做下载。

- 下载过程基于 Task，每个 Task 将待下载文件分为多个 Piece，Peer 拿到了最优的 Parent 之后，向此集合广播每个 Piece 的下载请求，集合中的 Parent 收到该请求后返回给 Peer 对应 Piece 的元信息，Peer 将第一个收到的 Piece 元信息所对应的 Parent Peer 作为该 Piece 的实际下载源。该做法考虑到 Scheduler 返回可用 Parent 到触发下载这段时间内可能的变化，同时对不同的 Piece，允许 Peer 向不同的下载源获取数据。

- Dfdaemon 分为 Seed Peer 模式和 Peer 模式，允许 Seed Peer 和 Peer 进行切换，可以根据实际需求改变作为 Seed Peer 和 Peer 的机器数目，动态调整更适应实际情况。

简单易用

Dragonfly 提供 Helm Charts、Docker Compose、Docker Image 以及二进制的多种部署方式。用户可以快速一键部署进行一次简单 POC，并且也可以基于 Helm Charts 进行大规模生产部署。当然 Dragonfly 各个服务都有完善的 Metrics 也提供现成的 Granafa 模版，方便用户观察 P2P 的流量走势。

展望

Dragonfly 作为 CNCF 在镜像加速领域标准解决方案，结合 Dragonfly 子项目 Nydus 进行按需加载可以最大限度提升镜像下载速度，未来我们也会继续努力建设镜像加速领域的生态链。感谢所有参与到社区建设的同学，希望有更多对镜像加速领域或 P2P 感兴趣的同学加入到我们的社区当中。

🔎欢迎搜索群号：23304666

或钉钉扫码入群哦🧸

在这里插入图片描述

【参考文档】

  1. 项目地址:https://github.com/dragonflyoss/Dragonfly2

  2. 官网:https://d7y.io/

  3. Slack:https://cloud-native.slack.com/messages/dragonfly/

  4. Twitter:https://twitter.com/dragonfly_oss

  5. Developer Group Email:dragonfly-developers@googlegroups.com

本周推荐阅读

Nydus——下一代容器镜像的探索实践

深入 HTTP/3（2）｜不那么 Boring 的 SSL

Go 代码城市上云——KusionStack 实践

MOSN 反向通道详解

图片

标签
#p2p #网络 #服务器 #容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Time-Interleaved Analog-to-Digital Converters   这篇论文提供了时间交错模数转换器的教程回顾。在解释了偏置、增益、定时和其他不匹配对变换器性能的影响后，给出了目前解决不匹配问题的方法。论文最后总结了时间交错模数转换器的现状。 1.简介   时间交错模数转换器(ADC)将多个子ADC组合成一个ADC系统，可以实现比单独的子ADC[1]更快的采样速率。历史上，时间交错adc的主要缺点是需要紧密匹配子adc[2]的特性。近年来，由于应用需要非常宽带信号的数字化、功率高效子adc的可用性以及由深亚微米互补金属氧化物硅(CMOS)技术实现的微调技术，使得时间交错 阅读详情

相关推荐

NE555构成多谐振荡器及三角波、正弦波的生成(附工程文件)

NE555构成多谐振荡器及三角波、正弦波的生成 续上一篇：NE555基本原理及相关公式的推导

qq_49979053的博客 5万+

适用场景全新升级！扩展 Dragonfly2 作为分布式缓存系统架构 | 龙蜥技术

在有些场景中，分发的数据是某个节点上生成的，不存在一个远端的源地址，所以我们希望 Dragonfly 能够增加对这种场景的支持。本文也介绍了其测试方法和效果，欢迎点击观看～

weixin_60347558的博客 747

# 解决 win11 连接共享打印机，报错 0x00000709 问题

# 解决 win11 连接共享打印机，报错 0x00000709 问题

段子手168的博客 9万+

Dragonfly：高性能、易用的微服务框架

是一个专为构建高效、可扩展的微服务架构设计的开源框架。它以其独特的特性和强大的功能，让开发者能够轻松地创建和管理复杂的分布式系统。本文将深入探讨Dragonfly的核心技术、应用场景及其优势，以期吸引更多用户加入到这个社区中。 ## 项目简介 Dragonfly的设计目标是简化微服务开发过程，提供一套完整的工具链，包括服务注册、发现、路由、监控以及治理。通过优雅的API和灵活的配置选项，使得它

gitblog_00088的博客 875

张量积曲面：数学原理与Python实现

Suv∑i0m∑j0nPij⋅Bipu⋅BjqvSuvi0∑m​j0∑n​Pij​⋅Bip​u⋅Bjq​v其中PijP_{i,j}Pij​是控制点网格，BipuB_i^p(u)Bip​u和BjqvB_j^q(v)Bjq​v是基函数，分别沿uuu和vvv方向定义。

T20151470的博客 1156

订餐平台餐厅信息抓取：使用Python爬虫获取商家信息和用户评价

在这篇博客中，我们展示了如何使用Python爬虫抓取订餐平台上的餐厅信息和用户评价数据。通过使用requests和Selenium，我们能够有效地从静态和动态网页中提取数据，并使用pandas和matplotlib对数据进行存储和分析。未来，您可以根据需求进一步扩展功能，例如增加错误处理、增加抓取多个页面的能力，或者使用高级技术如分布式爬虫来抓取更大规模的数据。

2201_76125261的博客 1651

P2P--大文件分发网络的搭建

六月份去上海参加了DockOne组织的容器大会，报了一个小项目，不小心得了一等奖，这里拿出来跟大家共享一下其中核心的P2P传输网络的搭建，也是公司已经投入使用的大文件传输方式。项目设计：初衷：1、作为一个提供全球云计算业务的运营商来说，不管是本身海外节点业务的拓展、平台扩充还是客户定制模板业务的需求，都会涉及大文件的传输。一些普通的ISO系统镜像文件，一些客户定制的系统模...

weixin_34293902的博客 2413

华为OD机试双机位C卷-部门人力分配 (Py/Java/C/C++/Js/Go)

华为OD机试(机考)双机位C卷 【部门人力分配】，提供C语言、Java、C++、Python、Go、JavaScript源码实现，并提供完整思路讲解，以及在线OJ模拟做题。华为OD机试 - 部门人力分配。

qq_45776114的博客 1874

CNCF Dragonfly 毕业啦！基于P2P的镜像和文件分发系统快速入门，在线体验

Dragonfly专注于解决基于Kubernetes的云原生环境下大规模镜像与文件分发难题。该项目利用点对点（P2P）技术，提供高效、稳定且安全的数据分发与加速能力，旨在成为云原生架构中的标准解决方案，支持文件、容器镜像、OCI制品、AI模型权重、缓存、日志及依赖项的大规模分发。

藏云阁技术社区 1669

18、项目运行与调试全攻略

本文详细介绍了在IntelliJ IDEA中进行项目运行与调试的完整流程，涵盖运行配置的创建与管理、临时配置的使用与保存、运行窗口的控制台操作及多程序并行运行的处理。同时，讲解了如何通过调试器定位和修复语法错误、运行时错误及逻辑错误，并结合ACME项目演示了第三方库Log4J的集成方法和命令行客户端的功能改进。文章还提供了调试流程图，帮助开发者系统掌握IDEA的强大调试功能，提升开发效率与代码质量。

svm4gardener的博客 76

第1章 机器人SLAM算法工程师主要做什么的？（附SLAM学习路线及资料推荐）

对于想从事机器人与自动驾驶领域的在校大学生、研究生来说，建图定位算法工程师是一个极具发展潜力的岗位，而SLAM知识体系则是胜任该岗位的核心支撑。从基础的计算机工具、C++语言，到核心的开源框架、数学知识，再到硬件衔接与项目实践，每一个环节都不可或缺。建议大家结合自身兴趣确定侧重方向（如激光SLAM、融合定位），先通过开源项目建立实践认知，再补全理论知识，同时积极参与社区交流。

行知SLAM 953

Dragonfly-一个基于p2p的高效文件传输系统

Dragonfly 是阿里开源的一款基于 P2P 的智能镜像和文件分发工具。它旨在提高文件传输的效率和速率，最大限度地利用网络带宽。尤其是在分发大量数据时，例如应用分发、缓存分发、日志分发和镜像分发。它能让所有类型的文件、镜像或数据分发变得简单而经济。

ecloud_developer的博客 1548

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

Dragonfly多机部署实战指南：构建高效P2P镜像分发网络

Dragonfly多机部署实战指南：构建高效P2P镜像分发网络 前言 在现代容器化环境中，镜像分发效率直接影响着应用的部署速度。传统中心化的镜像分发方式在面对大规模集群时常常成为性能瓶颈。Dragonfly作为一款开源的P2P文件分发系统，通过智能的P2P网络技术显著提升了镜像分发效率。本文将详细介绍如何在多机环境中部署Dragonfly系统，构建高效的镜像分发网络。 核心概念解析 在开始部署前，...

gitblog_00302的博客 572

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Dragonfly+Harbor部署集成

摘要：Dragonfly是阿里开源的一款基于P2P技术的镜像分发系统，已加入CNCF孵化。其核心组件包括Host（运行客户端的主机）、Peer（下载相同文件的Host）、dfget（下载程序）和SuperNode（调度节点）。工作原理类似BT下载，SuperNode从源获取文件分片并调度Peer间传输，支持断点续传和MD5校验。部署时需配置SuperNode和dfclient，可通过容器快速搭建测试环境。与Harbor集成时需修改Docker配置，支持镜像预热功能，显著提升大规模集群的镜像分发效率。实测表明

技术引领业务创新 8491

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Dragonfly项目文件下载使用指南

Dragonfly项目文件下载使用指南 前言 Dragonfly是一个基于P2P技术的智能文件分发系统，特别适合大规模文件分发场景。本文将详细介绍如何使用Dragonfly下载容器镜像和普通文件，帮助用户充分利用其P2P加速能力。 准备工作 在使用Dragonfly之前，需要确保满足以下条件： 运行Linux操作系统 已启动Supernode服务（Dragonfly的核心调度节点） 容器镜像下...

gitblog_00110的博客 406

直播倒计时 3 天｜SOFAChannel#29 基于 P2P 的文件和镜像加速系统 Dragonfly

Dragonfly 自 17 年开源以来，被许多大规模互联网公司选择并投入生产使用，是全中国第三个进入 CNCF Sandbox 级别的项目。SOFAChannel 第 29 期，我们邀请到了双讲师阵容——百蓦和楚贤，两位都是负责「基于 P2P 的文件以及镜像加速系统」方向的 Dragonfly Maintainer，他们将为大家带来 Dragonfly 项目的相关分享。...

金融级分布式架构 259

技术解读：Dragonfly 基于 P2P 的智能镜像加速系统

上世纪末期，基于 C/S 模式的思想，人们发展了 HTTP 、FTP 等应用层协议。然而 C/S 模式的弊端很明显：服务器的负载过大，下载速率过慢。基于上述背景，有人结合 P2P 网络与负载均衡的思想，提出 P2P 下载模式。

阿里云云栖号 1383

深度解读阿里巴巴云原生镜像分发系统 Dragonfly

Dragonfly 是一个由阿里巴巴开源的云原生镜像分发系统，主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题。随着企业数字化大潮的席卷，行业应用纷纷朝微服务架构演进，并通过云化平台优化业务管理。Dra...

cj2238的博客 631

Dragonfly路由机制完全指南：如何通过智能调度实现高效文件分发

Dragonfly是一款基于P2P技术的开源文件分发系统，通过其**智能路由机制**实现了高效的文件分发能力。该系统通过Supernode（超级节点）作为调度中心，协调客户端之间的文件块传输，显著提升了大规模文件分发的性能和效率。 ## 🚀 Dragonfly路由机制的核心原理 Dragonfly的**路由分发系统**基于分片调度和P2P网络构建，主要包含以下关键组件： ### Super

gitblog_00770的博客 1139

Dragonfly 介绍、更新和快手中的 AI 模型分发实践

Nydus 主要职责是镜像的去重、压缩，并且在镜像启动、运行过程当中进行按需加载，可以将端到端的启动速度从分钟级提升到秒级，同时 Nydus 也是由阿里云、蚂蚁、字节跳动三家公司研发的，DragonFly P2P 的解决方案。介绍了快手 AI 平台的业务背景效果显著。

socialpath的博客 2296

重磅 | Dragonfly 晋升成为 CNCF 孵化项目

今天，由云原生计算基金会（CNCF）技术监督委员会投票，Dragonfly 正式晋升为 CNCF 孵化级别的托管项目。 Dragonfly 是一个由阿里巴巴开源的云原生镜像/文件分发系统，主要解决云原生领域以 Kubernetes 为核心的应用镜像分发问题。2018 年 10月 正式进入 CNCF，成为 CNCF 沙箱级别项目（Sandbox Level Proje...

阿里巴巴云原生的博客 1068
上一篇： HAVE FUN | SOFA 飞船——Layotto 星球登陆计划
下一篇： SOFA Weekly｜Go 代码城市、本周 Contributor & QA
点赞 0
评论 0
书签 书签 1
SOFAStack
SOFAStack
博客等级 码龄7年 747粉丝 389原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值