为什么很多程序员没有升级到架构师?(非常详细)从零基础到精通,收藏这篇就够了!

大白话高并发(三) 规定好最大延迟,测出单台机器最大qps,再根据你预计的人数,就知道了需要多少台机器参考。 阅读详情

作为一名架构师,容量设计是你无法逃避的基本功。

想象一下,你接到一个项目需求,老板拍着桌子跟你说:“咱们这个系统上线后,可能会有百万级用户,得抗住大流量!”你点点头,内心却泛起了嘀咕:

RTsuU"> 这百万用户是今天就有,还是几年后才有?
是每天百万请求,还是瞬时百万并发?

如果搞错了容量估算,不是系统直接挂掉,就是浪费预算烧钱。

容量设计的本质,是找到适合当前业务的资源配置,既不高估,也不低估。

接下来,我们拆解容量设计背后的逻辑和实践方法。


一、容量设计的核心是什么?

容量设计的核心是预测系统的资源需求,确保在业务量增长时,系统还能稳定运行,不发生超载,也不浪费资源。

架构师需要关注以下几个关键问题:

  1. 能抗多少用户/流量?
  2. 什么时候需要扩容?
  3. 扩容的成本和效率如何?

这听起来很虚,但其实背后有非常具体的计算方法。


二、容量设计的基本流程

容量设计看似复杂,但可以拆分成几个明确的步骤:

1. 明确业务场景
  • 场景决定了系统的容量需求。例如:

    • 一个电商系统需要设计高并发(秒杀、支付等)。
    • 一个内容管理系统(CMS)主要是处理后台数据的批量写入和管理。
    • 一个日志系统更多是面向海量数据的存储和查询。

问清楚这些问题:

  • 用户量有多大?(日活、月活、峰值用户数)
  • 操作频率如何?(每天的请求总量,每秒的峰值请求数 QPS)
  • 哪些功能的调用最频繁?(80%的流量可能集中在20%的功能上)
  • 峰值流量何时发生?(促销、节假日等场景)
2. 计算容量需求

容量设计需要明确以下几个核心指标:

  1. QPS(每秒请求数):
  • 这是最常用的性能指标,表示系统每秒钟要处理的请求数。
  • 公式: [ QPS = \frac{\text{日请求总量}}{\text{一天的秒数(86400 秒)}} ] 如果考虑高峰期,峰值 QPS 通常是平均 QPS 的 3~5 倍。

举例:

    • 日请求量为 1000 万次。 [ QPS = \frac{10,000,000}{86,400} \approx 115 ] 峰值 QPS 大约是 (115 \times 5 = 575)。
  1. RT(响应时间):
  • 每个请求的平均响应时间。一般要求响应时间尽量控制在 200ms~500ms 内。
  • 系统的并发能力和 RT 有直接关系,RT 越高,系统的并发处理能力越差。
  1. 系统并发数:
  • 系统同时处理的请求数,公式如下: [ 并发数 = QPS \times RT ] 举例: 如果 QPS 是 500,RT 是 0.2 秒,那么并发数是: [ 并发数 = 500 \times 0.2 = 100 ]
  1. 带宽需求:
  • 每个请求和响应的数据大小(以字节为单位)直接影响系统的网络带宽需求。
  • 公式: [ 带宽需求(Mbps) = QPS \times \text{单次请求的数据量(MB)} \times 8 ]

3. 选择合适的架构

根据容量需求,选择合理的架构设计,以下是常见的容量优化方法:

  1. 分层架构:
  • 前端(CDN):减少静态资源请求压力。
  • 应用层(负载均衡):引入 Nginx/SLB 做负载分发。
  • 数据层(缓存+数据库):用 Redis 缓存热点数据,减少数据库压力。

img

  1. 水平扩展:
  • 把压力分散到多台服务器,通过集群的方式实现高可用性和扩展性。
  • 比如:一个应用节点只能抗 500 QPS,那么 10 台服务器就是 5000 QPS。

img

  1. 异步设计:
  • 把一些不需要实时完成的操作(如发送通知、统计日志)通过消息队列异步处理,降低主流程的延迟和压力。

img

  1. 数据库优化:
  • 设计合理的分库分表策略,避免单库成为性能瓶颈。

img

  • 热点数据优先放入 Redis 等缓存。

img


4. 设计扩展计划

容量设计不能一蹴而就,随着业务增长,你需要不断扩容。那么,扩容计划就显得尤为重要:

  1. 容量评估:
  • 每个月评估一次系统的流量增长情况,是否需要提前扩容。
  • 工具:可以用 Prometheus、Grafana 等监控工具,持续跟踪系统的 CPU、内存、磁盘、QPS 指标。

img

  1. 弹性扩容:
  • 在云上部署时,可以通过自动伸缩策略(Auto Scaling),根据实时流量动态增加或减少实例数量。

img

  1. 高峰计划:
  • 如果预计高峰流量,比如电商促销节,可以提前扩容,避免突然流量暴涨导致系统崩溃。

三、架构师在容量设计中的基本功
  1. 精准计算容量需求:
  • 了解并掌握 QPS、RT、并发数等核心公式,能快速预估业务流量。
  1. 设计合理的弹性架构:
  • 结合业务特性,选用分布式、缓存、负载均衡等方案,确保系统具备扩展能力。
  1. 持续监控和优化:
  • 架构师需要具备用数据说话的能力,通过监控数据不断优化系统性能。
  1. 把握投入产出比:
  • 在设计容量时,既要满足需求,又要控制成本,避免“过度设计”或者“资源浪费”。

四、真实案例:容量设计的失败与教训
案例 1:过度设计的代价

某创业公司在初期设计了一套高可用的分布式架构,花了 6 个月时间实现了动态分库分表和多机房容灾,但业务上线后发现日活只有 100 人,流量低得离谱,前期投入的复杂设计几乎白白浪费。

教训:容量设计要结合当前实际流量,创业初期优先考虑 MVP(最小可行产品),别搞超前优化。

案例 2:容量估算不足的代价

某电商平台的促销活动,技术团队预估峰值 QPS 为 10000,但实际活动当天瞬时流量高达 50000,导致系统大面积崩溃,损失了大量订单。

教训:容量设计时,要预留足够的冗余,尤其是应对突发流量的能力。


五、总结:架构师的容量设计口诀
  1. 业务驱动:搞清楚系统的核心业务和流量模型。
  2. 算清公式:牢记 QPS、RT、并发数、带宽等公式,做到心中有数。
  3. 分步优化:用分层、缓存、异步等设计降低容量压力。
  4. 动态扩展:结合云上弹性扩展方案,按需扩容。
  5. 数据验证:用监控和日志持续验证容量设计是否符合预期。

容量设计是架构师的基本功,更是你为系统抗住高峰流量保驾护航的关键能力。做好它,你会成为团队中最值得信赖的人!

2024最新版优快云大礼包:《AGI大模型学习资源包》免费分享**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始,按照什么顺序学习,以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理,关键技术,以及大模型应用场景;通过理论原理结合多个项目实战,从提示工程基础到提示工程进阶,掌握Prompt提示工程。

L2级别:AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3级别:大模型Agent应用架构进阶实践

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体;同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别:大模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握;而L3 L4更多的是通过项目实战来掌握大模型的应用开发,针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)

三、大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。

四、大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。


因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版优快云大礼包:《AGI大模型学习资源包》免费分享

给DBA与运维工程师的QPS,PV和需要部署机器计算 立即下载

相关推荐

TGK-planner编译报错PLUGINLIB_EXPORT_CLASS解决

TGK-planner编译报错解决。

latter97的博客 857

程序员到架构师定会遇到的问题(2):百万QPS容量设计,该如何规划?

**作为一名架构师,容量设计是你无法逃避的基本功。** 想象一下,你接到一个项目需求,老板拍着桌子跟你说:“咱们这个系统上线后,可能会有**百万级用户**,得抗住大流量! ”**你点点头,内心却泛起了嘀咕**: > 这百万用户是今天就有,还是几年后才有? 是每天百万请求,还是瞬时百万并发? 如果搞错了容量估算,不是系统直接挂掉,就是浪费预算烧钱。 容量设计的本质,是**找到适合当前业务的资源配置,既不高估,也不低估**。

程序员江小北 1530

ROS2机械臂MPC轨迹规划实战:从MoveIt 2插件配置到参数调优全流程

本文详细介绍了ROS2机械臂MPC轨迹规划的全流程,从MoveIt 2插件配置到参数调优。通过模型预测控制(MPC)技术,实现高精度运动控制,特别适合复杂装配任务。文章包含环境搭建、插件部署、参数设计及实战调优方法,帮助开发者快速掌握ROS2机械臂的MPC轨迹规划技术。

i0j1k2l3m的博客 208

高并发:最大程度抗量

指标 关键指标: 并发数SBC(Simultaneous Browser Connections),客户端向服务器发起请求,并建立了TCP连接。每秒钟【服务器】接收到的链接的总TCP数量 响应时间(Response Time):从发送http请求(并发数),到处理完所有的http请求(并发数)所用到的时间 每秒请求数QPS/RPS(Query Per Second/Request Per Second):Query=查询,也相当于请求。请求数指的是客户端在建立完连接后,向http服务发出GE

jim_007的博客 3833

免费测试国外大模型Claude 3.7 Sonnet API:无需api key(秘钥)

Claude 3.7 Sonnet是Anthropic公司推出的第三代Claude系列AI模型中的中规模版本(2024年发布),在性能与效率间实现平衡。该模型基于改进的Transformer架构,支持128K上下文窗口,擅长复杂推理、数学计算和创意写作,在GSM8K数学基准测试中准确率达92%。其采用"宪法AI"伦理框架,通过多轮对抗训练减少有害输出,同时新增多模态理解能力(可解析图片/图表内容)。Claude 3.7 Sonnet是Anthropic推出的高效轻量级大模型,主打快速响应与成本优化。

Explinks的博客 1501

别再为跨页读写发愁了!STM32F407模拟I2C驱动24C256/512的避坑指南

本文详细解析了STM32F407模拟I2C驱动24C256/512的跨页写入问题,揭示了24C系列存储器'写满一页不会自动翻页'的关键机制,并提供了经过验证的分页写入算法和优化方案。通过GPIO时序优化、地址计算和错误处理等技巧,帮助开发者解决数据错乱、覆盖等常见问题,实现稳定可靠的EEPROM读写操作。

weixin_42631411的博客 379

怎么根据QPS计算需多少台服务器

因特网上,经常用每秒查询率来衡量域名系统服务器的机器的性能,其即为QPS。 对应fetches/sec,即每秒的响应请求数,也即是最大吞吐能力。 计算关系: QPS = 并发量 / 平均响应时间 并发量 = QPS * 平均响应时间 原理:每天80%的访问集中在20%的时间里,这20%时间叫做峰值时间。 公式:( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。 机器:峰值时间每秒QPS / 单台机器的QPS = 需要的机器 。 案例分析:

lmp5023的博客 5021

华为OD机试双机位C卷-几何平均值最大子数组(Py/Java/C/C++/Js/Go)

华为OD机试(机考)2026双机位C卷 【几何平均值最大子数组】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【几何平均值最大子数组】。

qq_45776114的博客 1368

为什么很多程序员没有升级到架构师?

对我们程序员来说,发展的途径要么是走管理岗,从开发升级到项目经理甚至是部门经理;要么走技术升级路线。不过在技术路线方面,无法升级到架构师的程序员不在少数。一方面,在不少公司的高级开发岗位上,无法让程序员实践甚至接触到架构师的技能,另一方面,有不少程序员甚至不清楚架构师所需要掌握的技能和升级途径。所以从结果上来看,至少有5成的程序员止步于“高级开发”的程度,这是非常令人可惜的。 我...

hsm_computer的博客 2190

Spring AI 实战:如何使用 MCP Server 搭建 MCP 天气查询服务

MCP(Model Context Protocol)是 Anthropic 提出的一种开放协议,它定义了AI 模型与外部世界交互的标准方式。通俗地说:大模型本身只拥有训练数据中的知识,它不知道今天的天气、无法查询你的数据库、不能调用你的内部 API。MCP 就是解决这个问题的"桥梁"——它让模型能够发现并使用外部工具(Tools),就像人用手去操作工具一样。角色职责对应依赖MCP Server暴露工具(Tool),供模型调用MCP Client连接 Server,让模型发现和使用工具本文我们先聚焦。

SmartSi 765

具身智能(40):主流 VLA 模型π₀

摘要: π₀是首款专为机器人设计的VLA(视觉-语言-动作)端到端基础模型,通过双阶段训练实现“感知-决策-执行”闭环。其创新点包括:1)FlowMatching技术实现连续平滑动作控制(精度0.3°);2)结合VLM预训练与多机器人实操数据,零样本任务完成率达76.4%,远超同类模型;3)支持模糊指令理解与动态场景适应(如遮挡识别)。开源版本涵盖不同规模模型,适用于工业装配、服务机器人等场景,在延迟(213ms)和稳定性(92%自主恢复率)上显著领先OpenVLA等竞品。

码农17年的博客 516

什么是Agent?(非常详细)零基础入门到精通,收藏这篇就够了

几天前,拥有25个Agent的AI小镇正式开源,「西部世界」AI Town随之构筑,AI Agents之间的互动,将演绎出整个文明的演化进程。OpenAI联合创始人Andrej Karpathy也高呼:“AI Agent代表着一个疯狂的未来。什么是Agent?Agent一词起源于拉丁语中的Agere,意思是“to do”。在LLM语境下,Agent可以理解为在某种能自主理解、规划决策、执行复杂任务的智能体。Agent并非ChatGPT升级版,它不仅告诉你“如何做”,更会帮你去做。

Libra1313的博客 5503

置顶必读(1) | 滚雪球学Oracle教程导航帖,带你弯道超车(持续更新中)

什么是数据库管理系统(DBMS),Oracle在行业中的领先地位Oracle数据库的市场竞争与主要应用场景Oracle数据库的核心功能模块与未来技术发展趋势约束的高级应用:主键、唯一性、外键设计与管理表分区、视图、同义词与序列的最佳实践PL/SQL编程的设计哲学,如何高效使用Oracle SQL DeveloperPL/SQL代码调试与优化技巧RAC集群中的高可用性设计,负载均衡与并行查询的配置集群中的缓存一致性管理。

**My Coding Family** 1万+

12款破解各种类型密码神器,从零基础到精通,收藏这篇就够了!

下载打开APP后在首页就可以看到它的全部功能,包括开始破解、字典管理、破解记录、密码查看,在右下角也可以查看app的使用方法与原理。这款和上面那款基本上一样,无需另外破姐,直接点击应用程序就是破姐版本,破姐zip压缩包,免安装,打开即可用。这也是耗费了大白近四个月的时间,吐血整理,文章非常非常长,觉得有用的话,希望粉丝朋友帮忙点个**「分享」2、安装主程序(选择其中一款工具,进行安装,以安卓为例,其它工具的步骤是一样的)针对手机类型(安卓或苹果),选择合适的工具,进行密码移除,不要混用。

Javachichi的博客 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

什么是软件工程?(非常详细)从零基础到精通,收藏这篇就够了!

编辑:Tom Manshreck没有什么是建立在石头上的;一切都建立在沙子上,但我们必须像建造在石头上一样去建造。我们看到编程和软件工程之间有三个关键区别:时间、规模和权衡。在软件工程项目中,工程师需要更关注时间的流逝和最终的变更需求。在软件工程组织中,我们需要更关注规模和效率,既包括我们生产的软件,也包括生产软件的组织。最后,作为软件工程师,我们被要求做出更复杂的决策,其结果影响更大,通常基于对时间和增长的不精确估计。在谷歌内部,我们有时会说,“软件工程是随时间积分的编程”。

leah126的博客 2222

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

为什么大部分的程序员成不了架构师?为什么很多程序员没有升级到架构师?

对我们程序员来说,发展的途径要么是走管理岗,从开发升级到项目经理甚至是部门经理;要么走技术升级路线。不过在技术路线方面,无法升级到架构师的程序员不在少数。一方面,在不少公司的高级开发岗位上,无法让程序员实践甚至接触到架构师的技能,另一方面,有不少程序员甚至不清楚架构师所需要掌握的技能和升级途径。所以从结果上来看,至少有5成的程序员止步于“高级开发”的程度,这是非常令人可惜的。 而小团队一般 ...

weixin_44339238的博客 1121

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

大龄程序员如何转行(非常详细)从零基础到精通,收藏这篇就够了!_程序员转行

同时课程详细介绍了。

HJS123456780的博客 1081
上一篇: 2025年程序员,彻底失业!AI 让前端成绝响?码农何去何从(非常详细)从零基础到精通,收藏这篇就够了!
下一篇: 【安全测试工程师】超实用的Web渗透测试学习路线,从零基础到精通,收藏这篇就够了!
程序员_大白
博客等级 码龄5年 1万+粉丝 4001原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值