大型分布式网站术语分析 15 条,你知道几条?

Python全栈实战:从环境搭建到爬虫与数据分析项目贯通 Python作为一门通用编程语言,其核心价值在于将抽象的逻辑转化为可执行的自动化脚本。其工作原理基于解释器逐行执行代码,并通过丰富的第三方库生态扩展能力边界。在工程实践中,Python尤其擅长处理数据密集型任务,这使其成为数据科学和自动化领域的首选工具。网络爬虫技术基于HTTP协议,通过模拟浏览器请求获取网页数据,而数据分析则依赖于Pandas、NumPy等库对数据进行清洗、转换和可视化,从而提取有价值的信息。这两个技术模块的结合,构成了从数据获取到洞察的完整闭环,广泛应用于市场研究、舆情监控和业务决策支持 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

文末老艿艿做了一个小小的投票,一起来统计下,你在哪个段位。

1. I/O优化

  1. 增加缓存,减少磁盘的访问次数。

  2. 优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。

  3. 设计合理的磁盘存储数据块,以及访问这些数据库的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方式加快磁盘的访问速度。

  4. 应用合理的RAID策略提升磁盘I/O。

2. Web前端调优

  1. 减少网络交互的次数(多次请求合并)

  2. 减少网络传输数据量的大小(压缩)

  3. 尽量减少编码(尽量提前将字符转化为字节,或者减少从字符到字节的转化过程。)

  4. 使用浏览器缓存

  5. 减少Cookie传输

  6. 合理布局页面

  7. 使用页面压缩

  8. 延迟加载页面

  9. CSS在最上面,JS在最下面

  10. CDN 

  11. 反向代理

  12. 页面静态化

  13. 异地部署

3.服务降级

拒绝服务和关闭服务

4.幂等性设计

有些服务天然具有幂等性,比如讲用户性别设置为男性,不管设置多少次,结果都一样。但是对转账交易等操作,问题就会比较复杂,需要通过交易编号等信息进行服务调用有效性校验,只有有效的操作才能继续执行。

(注:幂等性是系统的接口对外一种承诺(而不是实现), 承诺只要调用接口成功, 外部多次调用对系统的影响是一致的. 声明为幂等的接口会认为外部调用失败是常态, 并且失败之后必然会有重试.)

5.失效转移

若数据服务器集群中任何一台服务器宕机,那么应用程序针对这台服务器的所有读写操作都需要重新路由到其他服务器,保证数据访问不会失败,这个过程叫失效转移。
失效转移包括:失效确认(心跳检测和应用程序访问失败报告)、访问转移、数据恢复。
失效转移保证当一个数据副本不可访问时,可以快速切换访问数据的其他副本,保证系统可用。

6.性能优化

根据网站分层架构,性能优化可分为:web前端性能优化、应用服务器性能优化、存储服务器性能优化。

  1. web前端性能优化

  • 浏览器访问优化:减少http请求;使用浏览器缓存;启用压缩;css放在页面最上面、javaScript放在页面最下面;减少Cookie传输

  • CDN加速

  • 反向代理

  • 应用服务器性能优化

    • 分布式缓存(Redis等)

    • 异步操作(消息队列)

    • 使用集群(负载均衡)

    • 代码优化

  • 存储性能优化

    • 机械硬盘vs固态硬盘

    • B+树 vs LSM树

    • RAID vs HDFS

    7. 代码优化

    • 多线程(Q:怎么确保线程安全?无锁机制有哪些?) 

    • 资源复用(单例模式,连接池,线程池) 

    • 数据结构 

    • 垃圾回收

    8. 负载均衡

    • HTTP重定向负载均衡 
      当用户发来请求的时候,Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url,然后浏览器再继续请求这个新url,实际上就是页面重定向。通过重定向,来达到“负载均衡”的目标。例如,我们在下载PHP源码包的时候,点击下载链接时,为了解决不同国家和地域下载速度的问题,它会返回一个离我们近的下载地址。重定向的HTTP返回码是302。
      优点:比较简单。 
      缺点:浏览器需要两次请求服务器才能完成一次访问,性能较差。重定向服务自身的处理能力有可能成为瓶颈,整个集群的伸缩性国模有限;使用HTTP302响应码重定向,有可能使搜索引擎判断为SEO作弊,降低搜索排名。

    • DNS域名解析负载均衡 
      DNS(Domain Name System)负责域名解析的服务,域名url实际上是服务器的别名,实际映射是一个IP地址,解析过程,就是DNS完成域名到IP的映射。而一个域名是可以配置成对应多个IP的。因此,DNS也就可以作为负载均衡服务。 
      事实上,大型网站总是部分使用DNS域名解析,利用域名解析作为第一级负载均衡手段,即域名解析得到的一组服务器并不是实际提供Web服务的物理服务器,而是同样提供负载均衡服务的内部服务器,这组内部负载均衡服务器再进行负载均衡,将请求分发到真是的Web服务器上。
      优点:将负载均衡的工作转交给DNS,省掉了网站管理维护负载均衡服务器的麻烦,同时许多DNS还支持基于地理位置的域名解析,即会将域名解析成举例用户地理最近的一个服务器地址,这样可以加快用户访问速度,改善性能。 
      缺点:不能自由定义规则,而且变更被映射的IP或者机器故障时很麻烦,还存在DNS生效延迟的问题。而且DNS负载均衡的控制权在域名服务商那里,网站无法对其做更多改善和更强大的管理。

    • 反向代理负载均衡 
      反向代理服务可以缓存资源以改善网站性能。实际上,在部署位置上,反向代理服务器处于Web服务器前面(这样才可能缓存Web相应,加速访问),这个位置也正好是负载均衡服务器的位置,所以大多数反向代理服务器同时提供负载均衡的功能,管理一组Web服务器,将请求根据负载均衡算法转发到不同的Web服务器上。Web服务器处理完成的响应也需要通过反向代理服务器返回给用户。由于web服务器不直接对外提供访问,因此Web服务器不需要使用外部ip地址,而反向代理服务器则需要配置双网卡和内部外部两套IP地址。
      优点:和反向代理服务器功能集成在一起,部署简单。 
      缺点:反向代理服务器是所有请求和响应的中转站,其性能可能会成为瓶颈。

    • LVS-NAT:修改IP地址

    • LVS-TUN: 一个IP报文封装在另一个IP报文的技术。

    • LVS-DR:将数据帧的MAC地址改为选出服务器的MAC地址,再将修改后的数据帧在与服务器组的局域网上发送。

    9.缓存

    缓存就是将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段,现在CPU越来越快的一个重要因素就是使用了更多的缓存,在复杂的软件设计中,缓存几乎无处不在。大型网站架构设计在很多方面都使用了缓存设计。

    • CDN: 及内容分发网络,部署在距离终端用户最近的网络服务商,用户的网络请求总是先到达他的网络服务商哪里,在这里缓存网站的一些静态资源(较少变化的数据),可以就近以最快速度返回给用户,如视频网站和门户网站会将用户访问量大的热点内容缓存在CDN中。

    • 反向代理:反向代理属于网站前端架构的一部分,部署在网站的前端,当用户请求到达网站的数据中心时,最先访问到的就是反向代理服务器,这里缓存网站的静态资源,无需将请求继续转发给应用服务器就能返回给用户。

    • 本地缓存:在应用服务器本地缓存着热点数据,应用程序可以在本机内存中直接访问数据,而无需访问数据库。

    • 分布式缓存:大型网站的数据量非常庞大,即使只缓存一小部分,需要的内存空间也不是单机能承受的,所以除了本地缓存,还需要分布式缓存,将数据缓存在一个专门的分布式缓存集群中,应用程序通过网络通信访问缓存数据。

    使用缓存有两个前提条件,一是数据访问热点不均衡,某些数据会被更频繁的访问,这些数据应该放在缓存中;二是数据在某个时间段内有效,不会很快过期,否则缓存的数据就会因已经失效而产生脏读,影响结果的正确性。网站应用中,缓存处理可以加快数据访问速度,还可以减轻后端应用和数据存储的负载压力,这一点对网站数据库架构至关重要,网站数据库几乎都是按照有缓存的前提进行负载能力设计的。

    10. 负载均衡算法

    • 轮询 Round Robin

    • 加强轮询 Weight Round Robin

    • 随机 Random

    • 加强随机 Weight Random

    • 最少连接 Least Connections

    • 加强最少连接 

    • 源地址散列 Hash

    其他算法

    • 最快算法(Fastest):传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7 层的故障,BIG-IP 就把其从服务器队列中拿出,不参加下一次的用户请求的分配,直到其恢复正常。

    • 观察算法(Observed):连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7 层的故障,BIG-IP就把其从服务器队列中拿出,不参加下一次的用户请求的分配,直到其恢复正常。

    • 预测算法(Predictive):BIG-IP利用收集到的服务器当前的性能指标,进行预测分析,选择一台服务器在下一个时间片内,其性能将达到最佳的服务器相应用户的请求。(被BIG-IP 进行检测)

    • 动态性能分配算法(Dynamic Ratio-APM):BIG-IP 收集到的应用程序和应用服务器的各项性能参数,动态调整流量分配。

    • 动态服务器补充算法(Dynamic Server Act.):当主服务器群中因故障导致数量减少时,动态地将备份服务器补充至主服务器群。

    • 服务质量算法(QoS):按不同的优先级对数据流进行分配。

    • 服务类型算法(ToS): 按不同的服务类型(在Type of Field中标识)负载均衡对数据流进行分配。

    • 规则模式算法:针对不同的数据流设置导向规则,用户可自行

    11. 扩展性和伸缩性的区别

    扩展性:指对现有系统影响最小的情况下,系统功能可持续扩展或替身的能力。表现在系统基础设施稳定不需要经常变更,应用之间较少依赖和耦合,对需求变更可以敏捷响应。它是系统架构设计层面的开闭原则(对扩展开放,对修改关闭),架构设计考虑未来功能扩展,当系统增加新功能时,不需要对现有系统的结构和代码进行修改。

    衡量网站架构扩展性好坏的主要标准就是在网站增加新的业务产品时,是否可以实现对现有产品透明无影响,不需要任何改动或者很少改动既有业务功能就可以上线新产品。不同产品之间是否很少耦合,一个产品改动对其他产品无影响,其他产品和功能不需要受牵连进行改动。

    伸缩性:所谓网站的伸缩性指是不需要改变网站的软硬件设计,仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力。

    指系统能够增加(减少)自身资源规模的方式增强(减少)自己计算处理事务的能力。如果这种增减是成比例的,就被称作线性伸缩性。在网站架构中,通常指利用集群的方式增加服务器数量、提高系统的整体事务吞吐能力。

    衡量架构伸缩性的主要标准就是可以用多台服务器构建集群,是否容易向集群中添加新的服务器。加入新的服务器后是否可以提供和原来服务无差别的服务、集群中的可容纳的总的服务器数量是否有限制。

    12.分布式缓存的一致性hash

    具体算法过程:先构造一个长度为2^32的整数环(这个环被称作一致性Hash环)根据节点名称的Hash值(其分布范围为[0,2^32 - 1])将缓存服务器阶段设置在这个Hash环上。然后根据需要缓存的数据的Key值计算得到Hash值(其分布范围也同样为[0,2^32 - 1]),然后在Hash环上顺时针查找举例这个KEY的hash值最近的缓存服务器节点,完成KEY到服务器的Hash映射查找。

    优化策略:将每台物理服务器虚拟为一组虚拟缓存服务器,将虚拟服务器的Hash值放置在Hash环上,key在换上先找到虚拟服务器节点,再得到物理服务器的信息。

    一台物理服务器设置多少个虚拟服务器节点合适呢?经验值:150。

    13. 网络安全

    1. XSS攻击
      跨站点脚本攻击(Cross Site Script),指黑客通过篡改网页,注入恶意的HTML脚本,在用户浏览网页时,控制用户浏览器进行恶意操作的一种攻击方式。
      防范手段:消毒(XSS攻击者一般都是通过在请求中嵌入恶意脚本大道攻击的目的,这些脚本是一般用户输入中不使用的,如果进行过滤和消毒处理,即对某些html危险字符转移,如“>”转译为“& gt;”);HttpOnly(防止XSS攻击者窃取Cookie).

    2. 注入攻击:SQL注入和OS注入
      SQL防范:预编译语句PreparedStatement; ORM;避免密码明文存放;处理好相应的异常。

    3. CSRF(Cross Site Request Forgery,跨站点请求伪造)。听起来与XSS有点相似,事实上两者区别很大,XSS利用的是站内的信任用户,而CSRF则是通过伪装来自受信任用户的请求来利用受信任的网站。
      防范:httpOnly;增加token;通过Referer识别。

    4. 文件上传漏洞

    5. DDos攻击

    14. 加密技术

    1. 摘要加密:MD5, SHA

    2. 对称加密:DES算法,RC算法, AES

    3. 非对称加密:RSA
      非对称加密技术通常用在信息安全传输,数字签名等场合。
      HTTPS传输中浏览器使用的数字证书实质上是经过权威机构认证的非对称加密的公钥。

    15. 流控

    1. 流量丢弃

    2. 通过单机内存队列来进行有限的等待,直接丢弃用户请求的处理方式显得简单而粗暴,并且如果是I/O密集型应用(包括网络I/O和磁盘I/O),瓶颈一般不再CPU和内存。因此,适当的等待,既能够替身用户体验,又能够提高资源利用率。

    3. 通过分布式消息队列来将用户的请求异步化。




    如果你对 Dubbo 感兴趣,欢迎加入我的知识星球一起交流。


    知识星球

    目前在知识星球(https://t.zsxq.com/2VbiaEu)更新了如下 Dubbo 源码解析如下:

    01. 调试环境搭建
    02. 项目结构一览
    03. 配置 Configuration
    04. 核心流程一览

    05. 拓展机制 SPI

    06. 线程池

    07. 服务暴露 Export

    08. 服务引用 Refer

    09. 注册中心 Registry

    10. 动态编译 Compile

    11. 动态代理 Proxy

    12. 服务调用 Invoke

    13. 调用特性 

    14. 过滤器 Filter

    15. NIO 服务器

    16. P2P 服务器

    17. HTTP 服务器

    18. 序列化 Serialization

    19. 集群容错 Cluster

    20. 优雅停机

    21. 日志适配

    22. 状态检查

    23. 监控中心 Monitor

    24. 管理中心 Admin

    25. 运维命令 QOS

    26. 链路追踪 Tracing

    ...
    一共 60 篇++

超大规模分布式系统架构设计与解决方案 本文介绍了一个针对超大规模流量的分布式系统架构的解决方案,涉及到分布式计算、分布式存储、消息队列、缓存、负载均衡以及容错和故障恢复等关键技术和组件。容错和故障恢复:设计系统的容错机制,如备份和冗余,以及故障检测和自动恢复机制,保证系统的可靠性和稳定性。分布式存储:采用分布式存储系统来存储和管理系统的数据,提高数据的可靠性和可扩展性,并降低单点故障的风险。容错和故障恢复:设计系统的容错机制,如备份和冗余,以及故障检测和自动恢复机制,保证系统的可靠性和稳定性。 阅读详情

相关推荐

核心面试聚焦:业务问题+系统问题+设计题---字节、阿里、美团等整理统计

业务系统及其他相关面试问题整理:线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出?

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 172万+

大型分布式网站术语分析

1. I/O优化 增加缓存,减少磁盘的访问次数。 优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。 设计合理的磁盘存储数据块,以及访问这些数据库的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方式加快磁盘的访...

weixin_34122810的博客 2411

YOLO系列训练时出现loss出现nan值或者测试时P\R\map全部为0值的解决办法(GTX16xx系列显卡大坑)

YOLO系列训练时出现loss出现nan值或者测试时P\R\map全部为0值的解决办法(GTX16xx系列显卡大坑)

weixin_55249340的博客 3万+

分布式架构优化方案

第一级优化:数据库的优化 1.集群(主备、读写分离,----如何实现读写分离?(aop来实现,中间件mycat来实现))  2.分表、分库(应对大数据量) 3.开启缓存(将数据暂时放入内存中) 4.开启索引查询 5.数据库表的设计(尽量不要让表的关系不要太复杂) 6.sql语句的优化 数据库不能解决所有问题,随着读取数据库的并发压力的增加,数据库集群也越来越难以处理频繁的io操作。不能无限制的构...

奔波儿东 1461

【MNE脑电信号处理学习笔记1】数据的读取、可视化、剪裁、滤波和保存

MNE之读取原始数据、可视化数据、剪裁数据、滤波和保存 Reading & visualizaing raw data, cropping, filtering, and saving 原视频教程:Pybrain: M/EEG analysis with MNE Python 原笔记和材料:pybrain_mne 本文根据视频和个人理解对原笔记进行细微修改。 Import the few packages we’ll need import matplotlib import pathlib i

小白家 4218

神联动:LSTM+卡尔曼滤波!一区大门轻松开!

近来热度飙升,成为时间序列预测和状态估计等领域的香饽饽,非常好发高区!主要在于:这两者结合,不仅能提高模型预测准确性;还能拓展应用场景,为我们的论文创新提供发挥空间,且当下还在蓝海阶段,还不算卷。具体点说:卡尔曼滤波擅长处理线性状态估计和噪声,能使LSTM更好地适应动态环境的变化,减少噪声干扰,降低预测误差。而LSTM通过捕捉长期依赖关系,擅长处理非线性时间序列,能够弥补卡尔曼滤波在这方面的不足,从而把应用场景从传统的状态估计,延伸到金融预测、工业检测、自动驾驶等任务。

2401_82426425的博客 2211

系统性能调优思路整理

一、基础设施优化 1、提升 CPU 缓存的命中率 CPU 缓存分为数据缓存与指令缓存。 按顺序访问数据(操作连续内存):利用数据缓存,提高读数据缓存的命中率。 有规律的条件分支(如数据集先排序再处理):利用指令缓存,提高读指令缓存的命中率。 数据按缓存行大小填充/对齐(通常为64字节):防止伪共享,提高并发处理能力和缓存命中率。 对于多核CPU,如果缓存命中率很高,可以考虑进行CPU绑定。 伪共享:假设cache line是64字节,我们在一个64字节的并且和cache line 对齐后的内

Snippers的博客 1607

视觉定位避坑指南:基于双mark点的坐标转换常见错误排查

本文详细解析了工业视觉项目中基于双mark点的坐标转换常见错误及排查方法,涵盖旋转矩阵构建、坐标系原点选择、图像预处理优化等关键环节。通过实战案例和代码示例,帮助工程师避免定位偏差,提升系统精度,特别适用于自动化检测和精密制造场景。

7z8x2c4v6b9的博客 169

Springboot分布式项目优化策略

①、数据库优化: 数据库优化可以极大提高系统性能。可以针对特定的查询进行具体优化,例如:避免使用自己写的连表查询,减少多次IO等。此外,使用MyBatis Plus等ORM框架可以大大减少手写SQL的复杂性。 ②、Redis缓存: 缓存是优化系统性能的常见手段。使用Redis缓存可以大幅降低读写次数,提高系统的效率。 ③、引入其他中间件: 引入其他中间件如ES可以实现更复杂的查询,解决了模糊查询的缺陷。

adru的博客 608

别再花钱买商业软件了!这4款免费DIC工具,从散斑生成到应变分析全搞定

本文介绍了4款免费开源的DIC(数字图像相关技术)工具,涵盖从散斑生成到应变分析的全流程,帮助用户零成本构建专业级DIC工作流。这些工具在精度、算法透明度和生态整合方面具有优势,适用于材料力学和实验力学研究,可替代昂贵的商业软件。

weixin_42525369的博客 173

华为OD机考2025C卷 - 高矮个子排队(Java & Python& JS & C++ & C)

华为OD机考2025C卷 - 高矮个子排队。提供在线OJ刷题。Java、C++、Python、C语言、JavaScript题解,并提供完整思路讲解。

算法大师! 1683

装逼必备:大型分布式网站术语分析

1、I/O优化 1、增加缓存,减少磁盘的访问次数。 2、优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。 3、设计合理的磁盘存储数据块,以及访问这些数据库的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方式加快磁盘的访问速度。 4、应用合理的RAID策略提升磁盘I/

quanwairen1的博客 359

EMC基础知识总结

电磁干扰(Electromagnetic Interference),简称EMI,有和两种。传导干扰主要是电子设备产生的干扰信号通过导电介质或公共电源线互相产生干扰;辐射干扰是指电子设备产生的干扰信号通过空间耦合把干扰信号传给另一个电网络或电子设备。

学海无涯的专栏 1373

Python爬虫实战:微博数据采集与情感分析词云可视化

在数据驱动的时代,爬虫技术是获取语料的基础技能。通过模拟HTTP请求与解析JSON接口,可以高效采集社交平台的结构化数据。面对中文文本,需要先进行分词与清洗,再借助情感分析模型量化文本情绪倾向,最后通过词云工具将高频关键词可视化呈现。这种“采集-清洗-分析-展示”链路在舆情监控、用户评论分析、内容运营等场景中具有广泛价值。本文以微博为目标平台,演示如何利用requests、pandas、jieba、SnowNLP和wordcloud等Python工具,从移动端接口抓取数据,完成情感评分与词云生成,并解决反爬

weixin_34008933的博客 317

【YOLOv11】087、YOLOv11多任务学习:检测、分割、分类联合学习

摘要: 工业质检场景中,多任务模型(检测、分类、分割)的需求日益增长。针对边缘设备部署的挑战,本文提出基于YOLOv11的多任务学习方案。通过共享主干网络和设计分支头(检测、分割、分类),实现高效推理;采用动态权重平衡策略解决多任务损失不平衡问题;并优化数据流处理(支持部分标注)和推理剪裁(按需启用分支)。实验表明,该方法在Jetson Orin上帧率提升3倍,内存占用减少40%,为工业质检提供了轻量高效的解决方案。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 450

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

网络爬虫主流思路与反爬破解技术实战指南

在互联网数据采集场景中,HTTP请求与网页解析是构建爬虫能力的基础。爬虫的本质可拆解为请求、解析、存储三个环节,而所有反爬破解技术都是围绕这三个环节展开的。从Requests库的请求头伪装、Cookie与Session维持,到Scrapy框架的异步并发与分布式扩展,再到验证码识别、字体反爬、JS加密参数等攻防对抗,每一层技术都有清晰的演进逻辑。理解这些原理,能够帮助开发者快速判断目标网站的采集策略,在工程实践中平衡效率与稳定性。本文基于真实项目经验,系统梳理了网络爬虫的主流思路与反爬破解技术,涵盖请求封装、

weixin_34335458的博客 176

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

基于xxxwww的电商采集管道:会话保持与反爬实战

在电商数据采集领域,会话保持与请求指纹模拟是突破反爬机制的关键技术。其原理在于通过维护动态Cookie池、模拟真实设备指纹及智能复用连接,使请求在服务端呈现人类行为特征,从而提升采集成功率与稳定性。该技术价值在于解决高频采集中的会话失效、IP封禁等痛点,广泛应用于商品价格监控、竞品分析等场景。本文以xxxwww请求库为例,深入探讨如何构建以会话为核心的采集管道,涵盖Cookie池轮换、动态限速及分布式扩展等工程实践,为电商数据采集提供稳定高效的解决方案。

weixin_34242819的博客 455

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Scrapy工业级爬虫实战:从反爬对抗到Pipeline数据清洗

网络爬虫本质是模拟人类浏览行为的自动化系统,其核心在于请求调度、响应解析与结构化输出的闭环协作。Scrapy通过内置的Downloader Middleware实现UA轮换、自动重试等反爬策略,借助Item Pipeline完成价格清洗、订单标准化等数据治理任务,显著提升电商竞品监控、市场分析等场景下的数据可用性与工程稳定性。相比requests+BeautifulSoup的手动方案,Scrapy将并发控制、去重、状态管理、错误恢复等能力封装为可配置组件,使爬虫从脚本升级为可持续维护的数据采集基础设施。

weixin_34242331的博客 431

c语言用抽象数据类型在一个串中对某个子串位置定位_【只推荐一位】推荐一个百度技术大佬的公众号...

今天给大家推荐一个公众号码农有道,公众号作者是我朋友,5年编程经验,现居深圳,待过百度和腾讯。公众号按照技术栈分为以下几类:数据结构与算法、协议森林、底层原理、系统架构、漫画系列、机器学习、C++札记、开源组件、Linux系统、IT好望角。欢迎大家扫码关注支持下有道。扫码关注后回复MLY可以获取吴恩达新书下载,此外附公众号文章部分目录。数据结构与算法一些常用的算法技巧总结手写二叉树?程序...

weixin_39714383的博客 253

Python爬虫实战:链家二手房数据采集与解析全流程

数据采集是人工智能、商业分析和数据工程的基础环节,而网络爬虫正是获取公开数据最常用的技术手段。爬虫的核心原理可拆解为HTTP请求、HTML解析、字段提取与数据落地几个环节,并伴随着User-Agent伪装、请求延时等反爬应对技巧。掌握这些基础技能,不仅能解决实际业务中的信息收集需求,更是构建数据驱动应用的基本功。以链家二手房为目标页面,使用Python的requests库和parsel解析库,从单页抓取到多页循环,从XPath精准提取房源字段到CSV数据清洗落盘,完整演示了一条轻量级爬虫的工程实践路径。无论

weixin_33859231的博客 483

Mythos模型:AI原生安全与动态推理架构的技术解析

大语言模型正从‘模式识别’迈向‘意图理解’,其核心演进体现在推理架构的范式升级——动态推理编排、意图图谱建模与可信执行闭环成为新一代AI安全能力的基础。Mythos并非参数堆叠产物,而是将符号执行、子代理协同、博弈论仲裁等系统级能力深度嵌入推理流,实现对漏洞利用链的端到端建模与PoC自动生成。这种AI原生安全能力,已推动SAST/IAST工具向‘可验证修复建议生成器’演进,并倒逼企业构建具备小时级响应能力的分布式漏洞操作系统。本文深入剖析Mythos背后的动态推理架构与意图驱动安全范式,揭示其如何重塑Dev

记录技术点点之路 242

贾子方程(项数 k= 指数 n)已知解的系统性总结

1. n=1方程形式:a11​=b1解的特征:所有正整数均满足 a1​=b示例解的数量:无穷多解(平凡解)出处:无特定发现者,属于数学基本性质。2. n=2方程形式解的特征:毕达哥拉斯三元组,满足 a12​+a22​=b2参数化解示例32+42=5252+122=132解的数量:无穷多解出处:参数化公式由欧几里得(约公元前 300 年)在《几何原本》中提出。3. n=3方程形式解的分类经典比例解示例出处:经典解历史悠久,最早可追溯至古代数学文献,但无明确发现者。

首席技术执行官CTO(Chief Technology Officer)|技术总监--邓斌博客 1259

Python自动化客户数据挖掘:从零构建外贸客户开发系统

在数据驱动的商业决策中,自动化数据采集与分析是提升效率、构建精准客户画像的核心技术。其原理在于通过编写脚本模拟人工操作,从公开网络源批量抓取、清洗并结构化信息,从而将传统耗时数日的市场调研压缩至数小时。这项技术的核心价值在于为企业提供了可扩展、可复用的数据管道,能显著降低获客成本并提升销售线索质量。在应用场景上,它广泛适用于B2B外贸客户开发、竞品分析、市场情报收集等领域。本文以电梯行业为例,详细演示了如何利用Python构建一个包含爬虫引擎、数据解析器及分析报告生成器的自动化系统,最终输出包含22列深度数

keke1314520的博客 322

DeepSeek-V4适配华为昇腾:国产AI模型落地全栈工程实践

大语言模型(LLM)的本地化部署正从云中心走向边缘与终端,其核心瓶颈已从算法能力转向‘模型—芯片—框架—服务’全栈协同。华为昇腾作为国产全栈AI算力底座,与DeepSeek-V4等高性能开源中文大模型的深度适配,标志着AI推理正突破CUDA生态依赖,迈向低延迟、高合规、可嵌入的工程化阶段。该过程涉及算子映射、KV Cache优化、Tokenizer跨平台一致性、动态批处理内存管理等关键工程挑战,技术价值在于实现不联网、低功耗、强隐私的‘身边智能’。典型应用场景覆盖政企私有云推理、工控机边缘AI、消费终端轻量

weixin_30781107的博客 507
上一篇: Java 面试题 —— 老梁 Java 面试通关要点汇总集
下一篇: 分布式作业 Elastic-Job-Lite 源码分析 —— 作业配置
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值