高并发访问数据库优化方法

一、服务器配置优化

我们需要根据应用服务器的性能和并发访问量的大小来规划应用服务器的数量。有一个使用原则是:单台应用服务器的性能不一定要求最好,但是数量一定要足够,最好能有一定的冗余来保障服务器故障。特别是,在高并发访问峰期间,适当增加某些关键应用的服务器数量。比如在某些高峰查询业务上,可以使用多台服务器,以满足用户每小时上百万次的点击量。

二、使用负载均衡技术

负载均衡技术是解决集中并发访问的核心技术,也是一种较为有效的解决网站大规模并发访问的方法。实现负载均衡技术的主要设备是负载均衡器服务器。例如,我们把网站部署到在两台不同的服务器之上(前提是要保证这2台或者多台服务器都可以正常运行网站程序),这几台服务器之间通过安装特定的软件实现负载均衡。那么,某个时刻,当网站面临大规模访问时,用户的请求会通过负载均衡程序,根据不同服务器的繁忙和资源情况,自动分配到处理性能最优的服务器上,从而将大规模用户产生的高并发访问均衡地分流到各个服务器上。这样就能大大减轻单台服务器处理高并发请求,确保整个网站系统面临高负载时的可靠性。

三、数据库结构设计

这部分是程序层的问题,通常是由软件工程师进行负责,对SQL语句进行优化。我们可以采取的措施包括:对经常查询的数据库字段做索引、对数据库表进行分区操作(如对海量数据进行分区操作十分必要,例如针对按年份存取的数据,我们可以按年进行分区)、对数据库查询语句-SQL(减少冗余的数据库操作,提高查询效率)进行优化等。

四、中间件的优化

所谓的中间件,听起来会有点像很深的技术,其实就在我们身边,各位站长朋友经常在网站部署的时候用到的Apache、IIS、Tomcat、WebLogic都是中间件。中间件主要位于客户端/服务器的操作系统之上,负责计算机的资源管理和网络通讯。举个简单的例子,我们在部署JAVA项目的时候,通常都是用Tomcat中间件,那么Tomcat在默认情况下是不优化的,当在高并发的情况下,非常容易当机。关于Tomcat的优化给出以下几个建议(本人在实际项目开发过程中觉得较为重要的几点):①线程池优化;②启动占用内存优化;③日志输出优化;④HTTP压缩优化;⑤配置文件优化。

上面举例的Tomcat中间件(也就是WEB服务器)只是一个例子,不同的网站采用不同的架构,那么对相应的中间件的优化也会有不同的方法,比如微软的IIS有相应的配置参数,所以具体的优化方法可以根据项目的需要,查阅中间件的官方文档说明进行参数设置,这样才能实现中间件的最优设置。

五、数据缓存技术的使用

现在大多数大型网站都有使用缓存技术,把用户经常使用到的数据通过缓存(Cache)技术进行管理,从而减轻服务器重新请求的压力,提高网站的访问速度。缓存技术有很多,这里我个人根据实际的项目经验,可以将其分成2种,即数据缓存和页面缓存。

①所谓的是数据缓存,指的是数据库的数据不是直接传输,而是将数据调用到内存,然后从内存中读取,从而可以大大提高读取速度。数据缓存技术有很多的方案,这里由于开源、高性能等特点,建议使用Memcache来设置数据缓存技术来加速动态web应用程序,减轻数据库负载。

②页面缓存一定程度上是针对公共页面,静态化也是页面缓存的一种,将用户经常访问的页面在服务器的相应目录下生成静态页面,当用户再次访问时,不需要对服务器进行动态请求,而只需要对缓存下来的html页面直接读取,这样访问的效率就可以得到有效的提高。

技术的变革,一定是思想先行,云原生是一种构建和运行应用程序的方法,是一套技术体系和方法论。云原生(CloudNative)是一个组合词,Cloud+Native。Cloud表示应用程序位于云中,而不是传统的数据中心;Native表示应用程序从设计之初即考虑到云的环境,原生为云而设计,在云上以最佳姿势运行,充分利用和发挥云平台的弹性+分布式优势。云原生概括为4个要点:DevOps+持续交付+微服务+容器。符合云原生架构的应用程序应该是:采用开源堆栈(K8S+Docker)进行容器化,基于微服务架构提高灵活性和可维护性,借助敏捷方法、DevOps支持持续迭代和运维自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。要转向云原生应用需要以新的云原生方法开展工作,云原生包括很多方面:基础架构服务、虚拟化、容器化、容器编排、微服务。本课程凝聚老师多年经验,基于真实工业界电商业务讲解,涉及多种技术落地方案,涉及多语言的协调开发,让学员在实战中熟悉云原生开发的全流程,感受云原生带来的开发便利。目前对云原生的人才需求也非常的大,谁尽早掌握,谁就能抓住这个风口,实现收入的增长。 本课程将分为3个阶段: 第一阶段:会基于云原生实现电商系统的大部分核心服务,包括:用户服务,商品服务,商品类目服务,商品属性服务,品牌服务,订单服务,网关服务等等。 第二阶段:基于云原生完成整个项目的持续集成,持续交付、持续部署,完成整个项目的自动化上云等等。  第三阶段: 进一步完善和优化电商系统,加入大数据,智能AI等等。  本课程包含的技术: IDEA集成开发工具 SpringBootSpringCloud SpringCloud AlibabaDevops MavenJenkinsCI/CD 持续集成 持续交付GitDocker Kubertenes 分布式系统微服务注册中心与配置中心:Nacos分布式系统微服务流量防卫兵:Sentinel分布式系统微服务网关:Gateway分布式系统微服务负载均衡:Feign分布式系统微服务链路追踪:Sleuth,Zipkin分布式系统微服务端点监控:spring boot adminSpringSecurity和JWT(认证和授权)消息中间件解决方案(RabbitMQ)MySQL(数据库)  MyCat MySQL分布式集群解决方案 Lucene、Elasticsearch(搜索) Nginx(web服务器)多语言(Go语言 Python语言 Java语言)CORS实现跨域 Swagger2 文档生成工具 Quartz分布式任务调度 Zookeeper Ehcache Restful VUE+jQuery+Ajax+NodeJS VUE+Element-UIGo+Gin 、 TensorFlow、RNN 、LSTM、Django、Spark大数据相关技术等等 课程亮点: 1.与企业无缝对接、工业界真实业务场景 2.集后端+前台+测试+运维一体,全面掌握技术链 3.多语言Java+Go+Python协调开发,属于语言应用场景4.支持项目快速迭代和开发 5.使用微服务技术栈+前后端分离构建项目 6.云上的开发体系,打造新一代研发平台7.引入全新的设计理念  8.集成SpringCloud Alibaba实现统一整合方案 9 Kubernetes+Docker容器化部署和管理 10 Devops全自动化持续集成和持续交付、部署11.TensorFlow、RNN 、LSTM综合应用12.动态扩展,弹性自动伸缩13.高并发下的服务降级、限流实战 14.实现高并发请求和实现高可用架构解决方案 15.引入大数据技术16.引入人工智能技术17.全程代码实操,提供课程代码和资料
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值