大型网站架构演化

YOLOv8傻瓜式教程 YOLOv8傻瓜式教程,附带详细参数配置。 阅读详情


1. 最初始的网站架构

 

就像我们在自己电脑上搭建了一个论坛的网站,应用程序(例如Apache服务器)、数据库等都部署在我们自己的电脑上的。就可以正常运行了。

2. 应用服务和数据服务分离

我们的论坛越来越受欢迎,用户越来越多,论坛也十分越活。但是面临的问题是数据库中的信息越来越多,存储不够了。这个时候我们又多弄了几台服务器,应用程序(Apache服务器)、数据库和保存用户上传的文件(图片)单独部署在不同的服务器上。

应用服务器处理大量的业务逻辑,所以需要更好的CPU

数据库服务器需要完成数据的快速查询,所以需要更大的硬盘和内存

文件服务器保存用户上传的图片等文件,所以需要更大的硬盘

3. 使用缓存改善网站性能

我们的论坛用户继续快速增涨,我们发现访问速度越来越慢,原因就是很多请求都要访问数据库(例如,读取用户的个人信息,打个不恰当的比喻,每次进入一个话题,该话题中的每一个发言用户的信息都要从数据库中读取)。这个时候如果我们能缓存这些用户信息,每次从缓存中读取,这样对数据库的压力会大大降低,并且读取的性能也提升了很多。

4. 使用应用服务器集群改善网站的并发处理能力。

使用缓存后,又出现问题了,在论坛使用高峰的时候,单一应用服务器处理请求连接有限,这个时候就需要部署应用服务器集群,然后在使用一个负载均衡服务器(例如Nginx,apache Server)。

5. 数据库读写分离

用户继续增加,使用缓存后,虽然大部分读的操作都不会直接访问数据库,但是还是有一些读操作(缓存未命中,缓存过期)和全部的写操作还是必须操作数据库。当用户达到一定规模,数据库又成了系统的性能瓶颈。

在原来单一数据库的模式上,设置一个主数据库和从数据库,写操作的时候写入主数据库,然后从主数据库同步到从数据库中。读操作就在从数据库中读。当然我们需要一个数据访问的模块来处理这些逻辑

6. 使用反向代理和CDN加速网站响应

论坛用户反应,打开你们的论坛速度太慢了,再不改善我就不用了。

原因也很简单,一个访问请求中,也许存在很多静态资源(CSS,图片)等,又或者用户的使用的联通,我们的服务器在电信。适应反向代理和CDN技术可以大大改善用户请求的响应速度

7. 使用分布式数据库和分布式文件系统

虽然数据库进行读写分离以后,但是在我们论坛疯狂增涨下,任何强大的单一服务器的性能都是有限的,只有使用分布式系统,才能在业务不断增涨进行横向扩展。这个是我们最后手段了,使用之前应该先考虑能否根据业务不同来拆分数据库。例如我们论坛的包括了不同主题(汽车、房子、以及你懂的话题),如果按照这些主题来区分数据库,也是好的选择。(注意这个虽然也是要使用多个数据库,但和分布式数据库的概念是有很大区别的)

8. 使用NoSql和搜索引擎

论坛中,要搜索一些帖子,如果每次进行数据库查询,在数据量十分大的情况,显然是不可取的。还有就是对数据存储的要求,需要使用搜索引擎(例如lucene)。

NoSql主要是对一些特殊需求的数据进行存储,例如配置信息可以放redis中(也算是缓存),日志信息可以存储在Hbase上等等。

9. 业务拆分

为了以后以后的发展,我们的业务需要扩展,我们需要增加即时通讯的业务(类似微信),知识问答(类似知乎)。但是这些业务是分开开发的,如果和原有的论坛业务耦合在一起,在代码发布的时候,就会十分麻烦。这个时候,根据不同的业务,分别进行部署和发布。

10. 分布式服务

虽然按照业务进行拆分以后,虽然不同业务之间的管理隔离开来,但是问题又出现了,但我们部署了上万台服务器的时候,每个服务器都保持有与数据库的连接,这样会导致数据集的连接资源不够。而且还有个问题就是对一些基础功能每个业务之间有重复开发的问题。

所以,我们把一些基础业务功能提取出来,做成基础服务独立部署(登录服务、用户信息管理,日志功能等)。这样上层只用关系自己的业务逻辑,调用底层统一的基础服务。

原创地址:https://my.oschina.net/u/3039671/blog/836750

vue3 - 最新详细实现高德地图绘制动态热力图详细教程,在某区域或城市地图上做“热力图层“展示人流量、旅游人口密度、热量图、全国地区地理热力图,利用颜色的深浅表示密度或强度等场景(详细示例代码教程) vue3,nuxt3,高德地图,热力图,绘制热力图层,人流量,vue3使用高德地图实现某个区域热力图,vue3高德地图api加载热力图及关闭,接收热力图数据并渲染热力图,关掉热力图,Vue使用高德API制作热力图,热力图加载不出来,电子围栏围住热力图,vue3中使用高德地图渲染热力图组件,高德地图使用热力图详细教程,报错,卡顿,出不来怎么办,无法关闭,怎么解决这个问题,出错,城市名称,城市某个街道,城区,省份,市区,县城,乡镇,村,各省份的热力图,交通流量,人口流量,密度,旅游出行,人口数量,颜色介绍,深浅 阅读详情

相关推荐

Zemax热分析实战:5分钟搞定双胶合透镜温度漂移优化(附操作数详解)

本文详细解析了使用Zemax进行光学系统热分析的全流程,以双胶合透镜为例,重点阐述了如何通过多重结构编辑器模拟温度变化,并利用关键操作数优化系统以抵抗温度漂移。文章提供了从基础设置到高级优化的实战技巧,帮助工程师快速掌握无热化设计方法,确保系统在宽温范围内保持稳定成像性能。

n4o5p6q7r的博客 399

一篇文章说透缓存表

作者:jiyf 原文来源: https://tidb.net/blog/f663f0f5 ...

TiDB 社区干货传送门 600

【附源码】Node.js毕业设计高校院级校友信息管理系统(Express)

首先,该系统可以提高高校对校友信息管理的效率和准确性。通过系统提供的查询功能,高校可以方便地获取校友的最新联系方式和动态,及时了解校友的发展情况,为校友提供更好的服务和支持。总之,开发高校院级校友信息管理系统将为高校提供一个高效、便捷的工具,有助于提升校友管理水平和服务质量,促进高校与校友之间的良好互动关系。通过使用前端技术HTML、CSS、JavaScript和Vue框架,结合后端技术Node.js和Express框架,以及MySQL数据库,可以实现对校友信息的快速录入、查询、修改和删除等操作。

佳愉毕设源码 894

C#二分查找算法设计实现

C#二分查找算法设计实现 1.介绍 二分查找也称折半查找(Binary Search),它是一种效率较高的查找方法。但是,折半查找要求线性表必须采用顺序存储结构,而且表中元素按关键字有序排列。(记住了前提要求是顺序存储结构,而且要有序排序,所以说对于一个无序的是没法用二分查找的) 2.查找算法过程 举例就一个int类型数组为例 比如int[] intArray; 假设数组中元素是按升序排...

JiYF大男孩 1673

realsense D455深度相机+YOLO V5结合实现目标检测(一)

realsense D455深度相机+YOLO V5结合实现目标检测代码来源环境配置代码分析:1.如何用realsense在python下面调用的问题:2.对main_debug.py文件的分析:结束语 可以实现将D435,D455深度相机和yolo v5结合到一起,在识别物体的同时,还能测到物体相对与相机的距离。 说明一下为什么需要做这个事情?1.首先为什么需要用到realsense D455深度相机? 因为他是普通的相机还加了一个红外测距的东西,所以其他二维图像一样,能够得到三维世界在二维像素平面的投影

文一生 3万+

VLSI数字信号处理系统——第九章滤波器和变换中的算法强度缩减

[课程学习] VLSI数字信号处理系统——第九章滤波器和变换中的算法强度缩减

夏风喃喃的博客 1605

C#网络编程TCP通信实例程序简单设计

转载连接: http://blog.youkuaiyun.com/CoderJYF/article/details/70255309#reply 版权声明:本文为JiYF笨小孩原创文章,欢迎转载,但是得在头部或者尾部明显地方注明出处留下链接地址! 目录(?)[+] C#网络编程TCP通信实例程序简单设计 采用自带 TcpClient和TcpLis

newbie的博客 4622

ENVI5.6 自动化流程:GF系列卫星影像批处理与质量优化

本文详细介绍了如何利用ENVI5.6构建针对GF-2、GF-6、GF-7系列卫星影像的自动化批处理流水线。通过配置Batch Processing工具,实现从正射校正到图像融合的全流程批量处理,并分享参数设置、质量监控与故障排查的实战经验,旨在显著提升海量遥感影像的处理效率与成果质量。

efc1234567的博客 604

Spring.NET依赖注入框架学习--简单对象注入

Spring.NET依赖注入框架学习--简单对象注入 在前面的俩篇中讲解了依赖注入的概念以及Spring.NET框架的核心模块介绍,今天就要看看怎么来使用Spring.NET实现一个简单的对象注入 常用文件 我们使用Spring.Net 框架经常要使用到的是以下文件: Common.Logging.dll 包含了Spring.Net日志方面的功能(必须) Spring.Core.d...

weixin_30532369的博客 211

【机器人路径规划】基于改进型A*算法的机器人路径规划(Python代码实现)

本文针对传统A算法在机器人路径规划中存在的搜索效率低、路径不平滑等问题,提出了一种改进型A算法。该算法通过引入跳点搜索(JPS)技术优化子节点扩展方式,结合贝塞尔曲线或B样条曲线进行路径平滑处理,并采用动态启发式函数和自适应邻域搜索策略,显著提升了路径规划的效率和路径质量。实验结果表明,改进型A*算法在复杂环境下能有效减少搜索节点数量,缩短路径长度,提高路径平滑性,且具备动态避障能力。

2501_92867626的博客 1583

手把手教你学Simulink--控制执行场景实例:基于Simulink的智能车辆自动紧急制动(AEB)仿真

本文完成了基于 Simulink 的智能车辆自动紧急制动(AEB),实现了:✅ 构建前车急刹与静止障碍物典型场景✅ 设计基于 TTC 的三级 AEB 决策逻辑✅ 验证在高风险场景下有效避免碰撞✅ 掌握从风险评估到制动执行的完整安全链✅ 为ADAS 主动安全功能开发奠定基础。

MHD0815的博客 237

大型网站架构演化总结

大型网站架构的演化是一个持续的过程,每个阶段都有其独特的挑战和优势。随着用户需求的不断变化和技术的不断进步,企业需要灵活调整架构,以提高系统的性能、可维护性和可扩展性。同时,架构的选择也需结合具体的业务场景、团队能力和技术栈来进行优化。【分析不同维度设计的技术】在软件架构设计中,分析不同维度的设计技术有助于选择适合特定需求和场景的解决方案。以下是从多个维度分析的技术,包括架构风格、技术栈、开发流程、部署方式和监控/治理等方面。1. 架构风格单体架构:所有功能模块在同一代码库中,适合小型应用或团队。

qq_24442273的博客 928

Xilinx差分原语-IBUFGDS与OBUFGDS FPGA

它将差分信号转换为单端信号,并将其输入到FPGA的逻辑片上。它将单端信号转换为差分信号,并将其输出到FPGA的引脚。在FPGA设计中,差分信号是一种常见的信号传输方式,用于提高抗噪性和抑制共模噪声。Xilinx是一家知名的FPGA供应商,提供了许多差分原语,其中包括IBUFGDS和OBUFGDS。通过使用Xilinx的差分原语,如IBUFGDS和OBUFGDS,可以实现差分信号的输入和输出。这些差分原语提供了方便且可靠的接口,使得在FPGA设计中处理差分信号变得更加简单和高效。是差分输入信号的端口,

git_database727的博客 2096

大型网站技术架构:大型网站架构演化

这是《大型网站技术架构》的系列读书记录。 一,大型网站软件系统的特点 1,高并发, 大流量。 每秒7亿次请求,阿里新一代数据库如何支撑? PV(Page View)访问量,即页面浏览量或点击量,衡量网站用户访问的网页数量;在一定统计周期内用户每打开或刷新一个页面就记录1次,是多次打开或刷新同一页面则浏览量累计。 UV(Unique Visitor)独立访客,统计1天内访问某站点的用户数。网站通过cookies判断来访客户端身份,如果访问时cookies不相同,计数会加1。 IP(Internet Pro

dangfulin的博客 386

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

大型网站架构演化历程

摘自《大型网站技术架构》:第一章 大型网站架构演化 一、大型网站系统的特点 高并发,大流量 需要面对高并发用户,大流量访问。Google 日均 PV 35 亿,日 IP 访问数 3 亿;腾讯 QQ 的最大在线用户数 1.4 亿(2011年数据)。 高可用 系统 7 x 24 小时不间断服务。 海量数据 需要存储、管理海量数据,需要使用大量服务器。Facebook 每周上传的照片数量接近 10 亿,百度收录的网页数目有数百亿,Google 有近百万台服务器为全球用户提供服务。 用户分布广泛,网络..

遇见你是我最美丽的意外 4434

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

《大型网站技术架构》读书笔记一:大型网站架构演化

一、大型网站架构演化 本篇文章是《大型网站技术架构》的笔记,感兴趣可以阅读该书。 1.1 大型网站系统特点 序号 特点 描述 1 高并发、大流量 需要面对高并发用户、大流量访问 2 高可用 系统7X24 小时不间断服务 3 海量数据 需要存储、管理海量数据,需要使用大量服务器 4 用户分布广泛,网络情况复杂 许多大型互联网都是为全球用户提供服务,用户分布广泛,各地网络千...

uzong 526

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

8. 大型网站架构演化

1.1 大型网站软件系统的特点 1.2 大型网站架构演化发展历程 1.3 大型网站架构演化的价值 1.4 网站架构设计误区 1.5 小结

enlyhua的专栏 448

大型网站技术架构(一)大型网站架构演化

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34010566的博客 145

大型网站架构演化发展历程

大型网站架构演化发展历程一、大型网站系统的特点二、大型网站的演变过程1. 初始阶段的网站架构2. 应用服务和数据分离3. 使用缓存改善网站性能4. 使用应用服务器集群改善...

程序员cxuan的个人主页 1888

《大型网站技术架构》笔记——1. 大型网站架构演化

文章目录前言1.1 大型网站软件系统的特点1.2 大型网站架构演化发展历程1.2.1 初始阶段的网站架构1.2.2 应用服务和数据服务分离1.2.3 使用缓存改善网站性能1.2.4 使用应用服务器集群改善网站的并发处理能力1.2.5 数据库读写分离1.2.6 使用反向代理和 CDN 加速网站响应1.2.7 使用分布式文件系统和分布式数据库系统1.2.8 使用 NoSQL 和搜索引擎1.2.9 业务拆分1.2.10 分布式服务1.3 大型网站架构演化的价值观1.3.1 大型网站架构技术的核心价值是随网站所需灵

bm1998 318

TransUNet详解:融合CNN与Transformer的医学图像分割新范式

医学图像分割是精准医疗与影像分析的核心技术,CT、MRI等影像数据中器官与病灶的精确提取直接关系到诊断效率。传统U-Net通过编码-解码结构在像素级任务中表现优异,但受限于卷积核的局部感受野,难以捕捉跨区域的长距离依赖,导致在边界模糊或目标形态多变的场景下分割精度不足。Transformer凭借自注意力机制能够建模全局语义关联,但其在高分辨率医学影像上的计算开销却令落地受阻。TransUNet创新性地将CNN特征提取能力与Transformer全局建模优势相结合:以CNN骨干网络提取底层空间特征,将特征图切

weixin_34380948的博客 410
上一篇: C#设计模式--代理模式
下一篇: Entity Framework6的在线下载安装
JiYF
博客等级 码龄11年 356粉丝 50原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值