最强 AWS 的十条军规，首席技术官总结过去十年的经验

公众号-芋道源码 公众号-芋道源码 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 186平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
转载 最新推荐文章于 2026-07-14 11:29:58 发布 186 阅读 AI 写同款· GEO 优化 ›
DeepSeek V4专家模式与百万token上下文实战指南 大语言模型的推理能力正从静态响应迈向动态思维链与长上下文协同演进。理解动态CoT（Chain-of-Thought）机制与百万级token上下文处理，是构建高可信AI应用的核心基础——前者决定模型能否分步归因、溯源验证，后者关乎知识检索精度与工程成本控制。DeepSeek V4通过稀疏激活架构、分段式KV缓存与子词级token计费，在保证专业深度的同时显著降低API实际开销。其专家模式并非简单增强版，而是面向开发者交付的可验证推理范式；百万token也非参数噱头，而是经存储优化、双通道检索与文本压缩验证的生 阅读详情

点击上方“芋道源码”，选择“设为星标”

做积极的人，而不是积极废人！

源码精品专栏

 

来源：http://1t.click/htG

  • 1.构建可持续演进的系统

  • 2. 预料到不可预料的情况

  • 3. 提供基元而非框架

  • 4. 自动化是关键

  • 5. API 定义要严谨，因为一旦上线就无法更改

  • 6. 监控你的资源使用情况

  • 7. 从头开始建立安全机制

  • 8. 数据加密是头等大事

  • 9. 网络的重要性

  • 10. 不设限，保持平台的中立与开放

AWS（Amazon Web Service） 开始于 2006 年 3 月 14 日 Amazon S3 的发布，距今已有十年时间。回首过去十年，我们在构建和运营 AWS 云计算服务中积累了大量的经验教训——这些服务不仅需要确保安全性、可用性和可扩展性，同时还要以尽可能低廉的成本提供可预测的性能。考虑到 AWS 是世界范围内构建和运营此类服务的开拓者，这些经验教训对我们的业务来说至关重要。正如我们多次重申的，“经验不存在压缩算法”。考虑到 AWS拥有每月超过一百万的活跃用户，而这些用户也许会为数以亿计的自家客户提供服务。因此，积累上述经验教训的机会在 AWS 比比皆是， 在这些经验教训中，我挑选了一些分享给大家，希望对各位也能有所帮助。

1.构建可持续演进的系统

从做 AWS 的第一天开始，我们就清楚地认识到，我们在做的这套软件不是一劳永逸的。现在可以用的软件，一年之后很可能将不再适用。我们的预期是，随着（用户）数量级的增加一或两次，我们都需要重新检视和适当修改我们已有的架构，以便解决扩展性的问题。

但是我们无法采取过去常用的通过检修停机进行系统升级的方式来实现上述目标，因为世界各地诸多业务都依赖着我们平台所提供的7 x 24 小时的可用性。因此，我们需要构建一个在引入新的软件构件时不会引起服务瘫痪的架构。Amazon 杰出的工程师 Marvin Theimer 有一次开玩笑说，Amazon S3 这项服务的持续演进用开飞机来形容最为贴切。我们最开始开的是一架单引擎的赛斯纳，一段时间后升级成一架波音 737，之后又换成了一支波音 747 小队，而现在更像是由空中巨无霸空客 A380 组成的一支大型机队。自始至终，我们一边通过空中加油确保飞机的正常飞行，一边在万米高空上将 AWS 的用户从一架旧飞机挪到另一架新的上面去。同时，AWS 的用户对此毫不知情。

2. 预料到不可预料的情况

故障是注定的；随着时间的流逝，一切终将归于失败：从路由器到硬盘，从操作系统到存储单元损坏的TCP数据包，从瞬时误差到永久失效，无论你用的是最高质量的硬件还是最低成本的组件，这都是理所当然的。

在服务规模变得很大之后，这个问题愈加地凸显：举例来说，当Amazon S3 服务处理万亿级存储交易时，即使误差概率极小的事件也将成为现实。在设计和构建阶段，这些故障场景中的一部分事先会被考虑到，但更多的则是未知数。

因此，我们需要构建的是将故障视为自然发生的系统，即使我们并不知道故障是什么。这个系统应该要做到，即使在“后院已经着火”的情况下依然可以继续运行。重要的是在不需要引起整个系统宕机的情况下就能管理好受影响的局部组件。对此，我们已经发展出一套控制故障发生影响范围的基本技能，以期系统的总体健康状态得以维持。

3. 提供基元而非框架

很快我们开始发现，用户大都喜欢在 AWS 提供的服务上持续构建和演进自己的业务系统。在摆脱了传统 IT 硬件和数据中心的束缚之后，他们开始以一种全新、有趣的、之前从未出现过的使用模式开发自己的系统。也正是因为如此，为了满足用户多样的需求，我们的架构需要保持高度的灵活性。

关于这一点，最重要的机制之一就是，我们提供给用户的是一系列基元和工具，用户可以选择他们喜欢的方式来使用AWS云服务，而不是由我们提供一个大而全的统一的框架。这个机制给我们的用户带来了巨大的成功，甚至 AWS 自身后续的一些服务也用上了这套机制，就像我们的普通用户一样。

同样重要的一点是，我们很难在用户还没开始使用一个服务之前，就准确预知到对用户而言该服务需要优先考虑的问题。这也是为什么所有的新服务最初都会以最小的功能集发布，然后借助用户的反馈，再对该服务进行后续的扩展。

4. 自动化是关键

开发一个需要持续维护的软件服务和开发一个最终交付给客户的软件有着巨大的差异，管理一个像 AWS 这种规模的系统，需要一种完全不同的观念，才能确保满足用户对可用性、性能以及可扩展性的要求。

实现这个目标的一个主要的机制，就是避免容易产生误差的手工操作，尽可能地将管理工作自动化。为此，我们需要构建一套可以控制主要功能的管理 API。在这方面，我们同时也对自己的用户给予帮助。通过将应用分解成一个个独立的模块，每个模块都有自己的管理 API，你可以很方便地定义自动化规则来进行大规模的维护。判断自动化做的是不是到位，可以思考一下你是不是还需要使用SSH登陆到某台服务器进行运维操作？如果答案是 yes，说明你的自动化做得还不够好。

5. API 定义要严谨，因为一旦上线就无法更改

我们在 Amazon 零售项目中已经接受过类似的教训，但对于 AWS 这种以 API 为中心的服务，这个原则变得更加重要。一旦用户开始用我们的 API 开发他们的应用和系统，我们就不可能再对这些 API 进行变更了。因为 API 的任何改动都会影响到用户已有的项目。因此我们充分意识到，在 API 给到用户之前，我们只有一次将 API 做对的机会。

6. 监控你的资源使用情况

当你为一项服务确定计费模式的时候，请务必确保你有一份关于该服务的资源成本和运营的数据。对于边际成本很低的业务尤其如此。作为服务提供 商，AWS 需要对服务成本保持足够的敏感，以便我们能清楚地认识到我们是否承担得起某项服务，同时也能够定位到一些可以通过提高运营效率而进一步降低成本的地方，并借此降低服务价格，最终惠及用户。

举一个例子，早期的时候，我们对于 Amazon S3 服务所用到的资源成本并不是很清晰。我们当时假定，存储和带宽应该是我们首要考虑的收费点；后来运行了一段时间之后，我们才意识到，请求数量跟存储与带宽同 等重要。如果某个用户有大量的小文件要存储，这种情况下，即使是百万量级的请求，都不会占用太多的存储和带宽资源。最终我们做了调整，将请求数量也纳入了计费模型，以便 AWS 在收支上可以保证这项服务的可持续性。

7. 从头开始建立安全机制

保护你的用户，这一点的优先级永远都应该排在第一位，在 AWS 也不例外。不光要从运营的角度，还要从工具和机制的角度保证这一点。对此，我们也将继续保持最高的支持与投入。我们很快就学到的一个经验就是，为了实现安 全的服务，我们需要在服务设计的最初阶段就抱有这种安全意识。安全团队的任务不是在一项服务实现完了之后才开始安全检查，相反地，安全团队的工作应该和开 发团队一道，贯穿于整个项目的生命周期，以确保项目的安全性。总之，涉及到安全的问题，没有任何妥协的余地。

8. 数据加密是头等大事

数据加密，是保证用户数据安全的重要机制。十年前，数据加密相关的工具和服务还不够完善，直到 AWS 刚开始运营的最初几年，我们才逐步积累了很多关于在服务中集成数据加密的最佳实践。

Amazon S3 最初提供的，是服务器端的加密机制。当我们在数据中心移除带有用户数据的磁盘的时候，这些数据就无法被访问到了。但是后续上线的诸如 Amazon CloudHSM 和 Amazon Key 管理服务，均向用户提供了自定义加密密钥的机制，这样一来，AWS 就不需要替用户维护这些加密密钥了。

现在，AWS 所有的新服务，在原型设计阶段就会考虑到对数据加密的支持。比如，在 Amazon Redshift 服务中，每一个数据块都通过一个随机的密钥进行加密，而这些随机密钥则由一个主密钥进行加密存储。用户可以自定义这个主密钥，这样也就保证了只有用户本人才能访问这些机密数据或敏感信息。

数据加密在我们的业务中的优先级一直非常高。我们也会持续改进，让数据加密机制用起来更简单，最终，让用户能更好地保护自己的数据安全。

9. 网络的重要性

AWS的服务支撑了各种各样的负载场景。从高并发处理到视频转码，从高性能并行计算到海量的网络请求。这些不同的负载场景，对网络的要求也各不相同。

关于数据中心的设计和运营，AWS 开发了一套独特的机制，这套机制提供了灵活的网络基础设施，以便满足任何用户的不同负载场景的需求。在这个过程中，我们也认识到，为了让用户达成自身的目 标，我们必须开发自己的网络解决方案。这样也能满足我们自身的一些定制化的需求，比如在保证高安全性的同时，通过网络来隔离用户的能力。

AWS 自主开发的这套软硬件解决方案，也能给用户带来进一步的性能提升。关于这一点，有一个成功的例子，那就是虚拟机之间的网络通信。由于网络通信是一个共享的资源，在使用 AWS 自己定制的解决方案之前，用户时常会遇到网路拥堵的问题。最终，AWS 通过开发支持单个根 IO 虚拟化技术的 NIC，实现了给每个虚拟机虚拟出自己的 NIC 的解决方案。这一改动成倍地降低了网络延迟，同时提升了高达十倍的网络性能。

10. 不设限，保持平台的中立与开放

随着时间的推移，AWS 团队提供了越来越多的服务和功能，这也给我们的用户创造了一个广阔的开发平台。但是 AWS 远不止我们团队开发的这些功能与服务，一些合作伙伴基于 AWS 提供的服务进一步扩大和丰富了整个系统的生态。比如，我们的合作伙伴 Stripe 提供的支付服务得以让 Twilio 在 AWS 上支持电话业务。

很多用户基于 AWS 本身的服务，开发出自己的产品，用于解决特定的垂直领域的问题。比如，飞利浦开发了用于健康数据管理的 Healthsuite 数字平台；Ohpen 则基于 AWS 开发出自己的零售银行平台；Eagle Genomics 开发了自己的计算平台用于基因处理等等，这样的例子不胜枚举。AWS 并不会限制我们的合作伙伴，规定他们什么可以做什么不可以做。“不设限”的原则释放了创新的动力，为意想不到的创新敞开了大门。

对于在接下来的十年里， AWS 的团队会学到哪些经验教训，我们的用户又会创造出什么样的价值，我充满了期待。

永远记得，对 AWS 来说，这仅仅是一个新的开始。

读完云计算巨头AWS的十年总结，一起留言说说您感触最深的点？

曾几何时您是否在这里载过跟头？

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：


如果你喜欢这篇文章，喜欢，转发。

生活很美好，明天见(｡･ω･｡)ﾉ♡

原文链接：http://www.iocoder.cn/zhishixingqiu/?vip\x26amp;amp;mp>
Lake House架构核心解析：外部表、文件格式与存储成本实战指南 Lake House（湖仓一体）是一种融合数据湖低成本扩展性与数据仓库强Schema治理能力的现代数据架构。其核心依赖表格式（如Delta Lake、Iceberg、Hudi）在对象存储之上构建ACID事务、时间旅行和智能分区裁剪能力。理解外部表的元数据-数据解耦特性，可避免跨引擎写入不一致风险；合理分层选用Parquet（分析优化）、Avro（Schema演进）、ORC（高吞吐写入）等文件格式，直接影响查询性能与存储效率；而对象存储的真实成本远不止$0.023/GB——隐藏在请求次数、扫描字节数和生命周期 阅读详情

相关推荐

企业级AI编排实战：MuleSoft+LangChain构建可信智能流水线

AI编排（AI Orchestration）是企业在生产环境中安全、稳定、可审计地调度大模型能力的核心工程范式。它超越简单API调用，聚焦于数据流治理、模型路由策略、权限与安全契约、结构化输出约束等底层机制。其技术本质是通过分层架构（数据层/智能层/体验层）解耦异构系统，以企业级集成平台（如MuleSoft）为中枢，实现对LLM服务的可观测调度、熔断降级与合规校验。典型价值体现在客服智能分析、合规审计、供应链风险预警等需跨系统、强治理、高可靠性的场景。本文基于真实金融与保险项目，详解如何用MuleSoft连

weixin_33898233的博客 423

亚马逊云科技 CTO 对过去十年的经验总结 – 十条军规

作者 Werner Vogels 发布于 2016年3月14日 10 Lessons from 10 Years of Amazon Web Services 亚马逊云科技（Amazon Web Service） 开始于 2006 年 3 月 14 日 Amazon S3 的发布，距今已有十年时间。回首过去十年，我们在构建和运营亚马逊云科技云计算服务中积累了大量的经验教训——这些服务不仅需要确保

亚马逊云科技专栏 8031

Azure CLI 实战指南：安装、认证、资源管理与自动化避坑

Azure CLI 是将云资源转化为可版本化、可审计文本对象的核心工具，其本质是通过命令行接口实现 Azure 资源的声明式操作与自动化治理。理解其底层原理——如安装路径对 PATH 环境变量的影响、认证机制与 Microsoft Entra ID 的集成逻辑、资源组作为策略锚点的 RBAC 作用——是构建稳定云基础设施的前提。技术价值体现在可重复执行、Git 可追踪、CI/CD 可嵌入的工程化能力；典型应用场景覆盖金融级合规部署、多环境批量运维、混合云统一管控及 DevOps 流水线集成。本文聚焦真实生产

weixin_33720956的博客 413

云计算——AWS Solutions Architect – Associate（saa）4.安全组和NACL

安全组一充当虚拟防火墙对于关联实例，在实例级别控制入站和出站流量。 网络访问控制列表(NACL)一充当防火墙关联子网，在子网级别控制入站和出站流量。

weixin_66370632的博客 737

Prefect机器学习工作流编排：从脚本到生产级Orchestration

机器学习工作流编排（ML Workflow Orchestration）是保障模型训练、特征工程与部署链路可靠运行的核心能力。其本质在于将离散的数据处理、建模和监控操作，通过声明式任务依赖、可观测状态管理和弹性重试策略，统一为可审计、可重试、可运维的业务流程。Prefect凭借‘任务即函数’的设计范式，天然支持Python原生开发体验，同时提供运行时缓存、类型契约校验与多环境执行引擎，显著提升ML Pipeline的稳定性与交付效率。本文聚焦真实金融风控场景，详解如何用Prefect构建端到端信用评分模型更

weixin_34062469的博客 361

aws 初学资料总结

（1）aws公开课one（2）aws公开课two（3）aws公开课three（4）aws公开课four

zongyimin的博客 5615

aws 安全组 acl_对AWS安全组和网络ACL进行故障排除时应了解的知识

aws 安全组 acl AWS网络 (AWS Networking) If you have been working on AWS for some time, either managing infrastructure or creating some fancy serverless applications, you must have run into some sort of net...

weixin_26722031的博客 4078

AWS14条准则.pdf

AWS的14个领导力准则，只是供大家参考，不需要消耗大家的积分。

亚马逊领导力准则14条

【Amazon 必考】Amazon Leadership Principles 亚马逊领导力准则Leadership Principles，也就是领导力准则，不仅仅是几条用来鼓舞人心的口号，更是成就了Amazon特有公司文化的秘诀。不管是为新项目讨论创意、寻找解决客户问题的方案，还是面试求职者时，它都是Amazon员工的重要参考标准和行为准则。Customer Obsession 顾客至尚Lead...

大圣的博客 2万+

Verilog除法器（32位无符号+带符号）

32位无符号除法器设计 恢复余数法： 恢复余数除法的基本思路是从“部分余数”中减去除数，如果结果为负（不够减），则恢复原来的部分余数，商0. 寄存器使用： reg_r 存放被除数a reg_b 存放除数b reg_r 存放余数(初始清零) 具体做法： 做减法时，减数是reg_b中的除数，被减数是reg_r中的余数左移一位，最低位由reg_q(被除数)的最高位补充。为了能够判断相减结果的正...

qq_38600065的博客 1万+

SillyTavern角色卡制作全攻略：如何用AI还原你喜欢的虚构角色（附三叶完整角色卡JSON）

本文详细介绍了如何使用SillyTavern制作高质量AI角色卡，以《你的名字》中的宫水三叶为例，从角色特征提取、对话风格捕捉到JSON结构优化，全面解析AI角色扮演的创作技巧。通过具体的写作示例和完整角色卡JSON，帮助二次元爱好者和同人创作者实现虚构角色的精准还原与生动互动。

pandas7gardener的博客 2146

亚马逊云科技使用心得：当初我曾错过的那些宝贵经验

在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。 从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们

亚马逊云科技专栏 2万+

极验第四代滑块验证码破解（三）：滑块轨迹构造

极验第四代滑块验证码破解（三）：滑块轨迹构造声明 声明 原创文章，请勿转载！ 本文内容仅限于安全研究，不公开具体源码。维护网络安全，人人有责。 本文关联文章超链接：

帯泪的鱼的博客 8624

AI编程工具团队选型决策手册：匹配技术债与组织模式

AI编程工具并非通用代码生成器，而是需深度适配团队技术现状的工程化能力组件。其核心原理在于将大模型能力与私有代码库、组织协作流程及安全合规要求进行语义对齐；技术价值体现在降低认知负荷、加速知识沉淀、提升跨语言/跨系统协同效率；典型应用场景包括遗留系统重构、云原生IaC开发、开源组件安全治理、多角色IDE能力分发等。尤其在Java微服务和混合技术栈环境中，工具对类路径解析、Lombok/MapStruct兼容性、Spring Boot元数据支持等细节，直接决定落地成败。本文聚焦‘AI编程工具’与‘团队选型’两

weixin_30838873的博客 386

三维Copula建模进阶：从对称、嵌套到Pair-Copula（C-Vine/D-Vine）到底怎么选？

本文深入探讨三维Copula建模的进阶策略，包括对称Archimedean、嵌套结构和Vine Copula（C-Vine/D-Vine）的选择方法。通过对比数学特性、计算复杂度和实际应用案例，提供了一套针对金融风险分析等场景的决策框架，帮助分析师根据数据特征选择最优模型。

weixin_27038701的博客 438

【训练】Qwen2.5VL 多机多卡 Grounding Box定位

之前的相关文章：【深度学习】LLaMA-Factory微调sft Qwen2-VL进行印章识别使用LLaMA-Factory微调sft Qwen2-VL-7B-Instruct构建最新的LLaMA-Factory镜像。

q742971636的博客 2585

Anthropic归零层：大模型推理中间层的权重内化与工程适配

大语言模型推理架构正经历从显式模块化向隐式权重内化的范式转变。传统依赖vLLM调度器、Tokenizer和后处理链路的三层结构，正被逐步折叠为嵌入模型参数中的内生约束逻辑。这种‘抽象层级归零’并非功能削弱，而是将安全护栏、上下文压缩、格式控制等能力直接编码进Transformer权重，带来更强语义一致性与合规隐蔽性，但也导致token统计偏移、监控指标失真、API参数弱化等工程挑战。本文聚焦LLM服务架构演进中的权重内化趋势，结合Claude-3.5系列实测信号（如token熵值双峰分布、跨模型相似度骤降）

weixin_30621711的博客 390

基于Simulink环境，提供一个关于如何对EMI抑制的DC-DC变换器进行仿真建模的示例

EMI定义：电磁干扰是指任何能中断、阻碍、降低或限制电气设备有效性能的电磁能量。重要性合规性：确保产品符合国际和地方的EMC标准。可靠性：减少因外部或内部EMI导致的系统故障风险。挑战滤波设计：合理设计输入输出滤波器以抑制传导EMI。布局与接地：良好的PCB设计对于减少辐射EMI至关重要。屏蔽：使用金属屏蔽来保护敏感电路不受外界干扰。首先明确要模拟的任务内容。设计一个能够在高频操作下有效抑制EMI的DC-DC变换器。根据工作频率和谐振元件值确定合适的滤波器参数。

xiaoheshang_123的博客 148

Amazon CTO：我在打造AWS的10年里学到的10条经验

Amazon CTO：我在打造AWS的10年里学到的10条经验（转）   Amazon 的 CEO Jeff Bezos 前几天在致股东的信中表示 ，亚马逊云服务 AWS 目前已经有超过 100 万的用户，2016年 的营收也将突破 100 亿美元。Amazon 的 AWS 服务是在 2006年3月 推出，距今已有整整 10年 的时间了。AWS 最早推出的云服务是简单储存服务 Simple...

SQ更上一层楼穷千里目 621

YOLO26训练教程，训练自己的数据集教学，从源码下载，配置虚拟环境，准备数据集、训练、验证、推理测试 。实现0到1的完整教学过程。快速入门必看

本文详细介绍了YOLO26目标检测模型的配置与使用流程：1）下载YOLOv11源码并创建Python3.10虚拟环境；2）安装PyTorch2.5.1及相关依赖库；3）准备数据集并修改配置文件；4）编写训练脚本设置参数（640x640分辨率、500轮次）；5）验证模型效果；6）使用训练好的模型进行推理测试；7）生成可视化热力图。整个过程涵盖了从环境搭建到模型应用的全流程，并提供了清华镜像源加速下载。

Ai缝合怪、助力小伙伴高效发论文 5303

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

云架构师应该熟悉的7个AWS VPC最佳实践

结构良好的VPC是强大的AWS设置的基础。从清晰的CIDR规划开始，使用安全组和NACL分层构建安全体系，并始终密切监控网络活动。当每个组件都经过精心配置时，你的VPC不仅能支持你的应用程序，还能保护它。我们详细剖析运行平稳、安全且可扩展的 VPC 所需的七项关键要素。

硅基创想家的博客 567

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

情商、亚马逊领导力准则和建立自信

情商、亚马逊领导力准则和建立自信

weixin_46812959的博客 687

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

亚马逊领导力准则

我们已经从当初的车库走了出来，变得很大，并且影响着世界，但我们远非完美。我们每天都要为我们的客户、我们的员工、我们的合作伙伴和整个世界作出努力。Leader 要以少的消耗，创造更大的价值。他们思维开放，从各个方面寻找新的思路，不能有【不应该是我们这里创新】想法。对于有异议的决定，即使会令人不舒服，Leader 有义务【恭敬地】提出反对意见。Leader 制定 & 传达一个大胆的方向，以获得积极的结果。Leader 的工作覆盖各个层面，始终与细节保持联系，经常审计，并且在衡量标准和轶事不同时持怀疑态度。

milaier的专栏 812
上一篇： 分布式链路追踪 SkyWalking 源码分析 —— Agent Remote 远程通信服务
下一篇： 一文带你 API 网关从入门到放弃
点赞 0
评论 0
书签 书签 0
公众号-芋道源码
公众号-芋道源码
博客等级 码龄10年 1636粉丝 377原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值