架构搭建-实践篇

高并发系统架构设计
最新推荐文章于 2022-07-06 18:06:19 发布
原创 最新推荐文章于 2022-07-06 18:06:19 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #java #运维

遗留问题：

下午：
1.线程池
2.读写分离：AOP
3.Guava-缓存 和 spring eache缓存
4.发送短信


缓存框架

异步队列框架

分库分表框架

高可用框架(结合学习dubbo的高可用实现)

 

 

1.根据不同行业特点，需求特点，进行详细设计，系统规模，流量评估

2.技术选型，这里要求，能针对绝大部分需求给出技术解决方案

3.能够指导测试工程师，测试方案，测试工具，测试技术

4.能够指导运维公司，硬件，网络环境，需要哪些基础软件以及优化

4.掌握系统，系统各个组件的安装，配置，使用优化技巧

5.明确项目技术层次，能够选择匹配项目技术能力的员工

6.时刻了解最新技术动态

 

比如，性能测定诊断与优化，jvm，并发实践，redis，mq，网络等等优化能力

 

rpc 有很多开源的，拿一个过来用用，然后，把监控、限流、服务降级啥的逐步做好

 

有流量非常大的业务场景，用微服务架构还是很有好处的，不是很大，一般的rpc，soa基本够用了.....

 

 

=====================建构实践==============================

1.总结架构发展流程，并流利表达
2.需要记录自己的任务进展以及相关成果

系统规模（日活）与硬件评估 待
需求，详设与技术选型（微服务）待
测试工具与测试方案（包括各种技术单个和集群）待
前沿技术 待


【高性能】

 

网站发展初期，往往一台机器部署：web应用，数据库，文件服务器；
随着网站用户增加，会将web应用服务器，数据库服务器，文件服务器分离到不同的服务器上；
接着根据出现性能瓶颈的位置，选择缓存，应用横向扩容，数据读写分离，异步处理等一系列技术；
当以上措施都无法满足时候，尤其数数据读写无法满足海量数据处理时，需要进行分库分表或者采用微服务架构
  
图：待补
 

 

网站初期采用的架构

说明：（1）为保证高可用，在网站初期各个组件就必须集群化 （2）这里考虑后期使用OpenResty，添加了web应用层

接入层（Nginx*2+keepalived）+Nginx集群+ tomcat集群 + 单Mysql库(读写分离) +多级缓存

1.接入层(流量负载层+核心Nginx层)

功能：

通过LVS+HAProxy将流量转发到核心Nginx层，实现流量的负载均衡；

在核心Nginx层可以实现流量分组，内容缓存，请求头过滤，故障切换，限流，防火墙等通用功能

这里：没有采用流量负载层，通过keepAlived实现核心Nginx层的高可用

 

软件/技术选用：负载均衡器(Nginx,F5,LVS,HaProxy),高可用热备方案(keepAlived)

 

方案规划：Nginx*2 + keepAlived*2

VIP/监听端口IP主机名Nginx端口默认主从
192.168.1.100/88192.168.1.111edu-proxy-0180Master
192.168.1.112edu-proxy-0280Slaver

注：由于机器的缘故，在测试方案里 负载均衡器和Tomcat集群配置在相同的机器上；实际的主机名edu-web-01,edu-web-02

 

实践方案/文件：

安装过程：参考Keepalived+Nginx实现高可用Web负载均衡即可。
安装和配置的软件： /usr/local/nginx              /usr/local/keepalived

配置文件地址：/etc/keepalived
相关组件/配置文件：见附件

相关命令：

#/usr/local/nginx/sbin/nginx 

#/usr/local/nginx/sbin/nginx -s reload 

# service keepalived stop/start/restart
 
补充：
1.亿级流量-负载均衡和反向代理部分待补充到Nginx-基础篇（反向代理/负载均衡/页面缓 .
 

 

2.业务Nginx层

作用：比如商品详情页，可以在业务Nginx实现业务逻辑，或者反向代理到如Tomcat集群；

在这一层可以实现内容压缩(放在这一层目的是，减少核心Nginx的CPU压力，将压力分散到个业务Nginx)，A/B测试，降级。

 

软件/技术选用： Nginx glassfish

 

方案规划：

IP主机名端口号
192.168.1.106edu-nginx-0180
192.168.1.107edu-nginx-0280
192.168.1.108edu-nginx-0380

 

安装配置最佳实践：参考本博文的相关内容

软件安装位置：/usr/local/nginx

配置文件位置：/usr/local/nginx/conf/nginx.conf 配置负载均衡的一些信息

相关组件/配置文件：见附件nginx+keepalived里面的 nginx(业务Nginx配置).conf

相关命令：

#/usr/local/nginx/sbin/nginx -s reload 

# service keepalived stop/start/restart

 

3.Web服务器集群

作用：

软件/技术选用：Tomcat,glassfish,webLogic,webService,Jboss

 

方案规划：

IP主机名端口号
192.168.1.111edu-web-018081
192.168.1.112edu-web-028081

 

安装配置最佳实践：参考本博文的相关内容

软件安装位置：/usr/local/src/tomcat7

配置文件位置：/usr/local/src/tomcat7/conf/server,xml 配置端口号，根目录等

相关组件/配置文件：见附件

相关命令：

 

# /usr/local/src/tomcat7/bin/startup.sh & tail -f /usr/local/src/tomcat7/logs/catalina.out
动静分离：由于考虑OpenResty，静态资源分布在Nginx-web服务器上，参考： Nginx+Tomcat负载均衡配置

附加问题：
3.1 .session一致性问题

关于 tomcat 集群中 session 共享的三种方法

3.2 数据一致性问题

待写

 

 补充：

Tomcat优化

 

4.缓存

作用：缓存是性能优化首先要想到和使用的工具

软件/技术选用： Redis，Memcache
方案规划：      配置文件地址 命令
IPPORT主机名
192.168.1.1227770(主)7771(从)8880(主)8881(从)6660(主)6661(从)edu-redis-01
192.168.1.1237770(主)7771(从)8880(主)8881(从)6660(主)6661(从)edu-redis-02
192.168.1.1247770(主)7771(从)8880(主)8881(从)6660(主)6661(从)edu-redis-03
说明：3台的7770/8880端口服务做主集群；7771/8881做从集群；Redis未分片122：6660主，122-123-124的6661做从集群
配置文件：见附件nutcracker.yml
TWEMPROXY：分片代理服务器
IP 
192.168.1.122 
基本命令及配置文件地址 
需要在192.168.1.122，123,124 上分别启动：
SSDB 7770 7771 8880 8881
nohup /usr/local/ssdb/ssdb-server   /usr/local/ssdb-master/ssdb_basic_7770.conf &  
nohup /usr/local/ssdb/ssdb-server   /usr/local/ssdb-master/ssdb_basic_7771.conf &  
nohup /usr/local/ssdb/ssdb-server   /usr/local/ssdb-master/ssdb_desc_8880.conf  &  
nohup /usr/local/ssdb/ssdb-server   /usr/local/ssdb-master/ssdb_desc_8880.conf  &  

REDIS 
192.168.1.122：6660 6661
/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis_6660.conf &
/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis_6661.conf &
192.168.1.123 6661
/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis_6661.conf &
192.168.1.124 6661
/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis_6661.conf &

启动Twemproxy
nutcracker.init {start|stop|status|restart|reload|condrestart}
nutcracker -d -c /usr/local/twemproxy/conf/nutcracker.yml -p /usr/local/twemproxy/run/redisproxy.pid -o /usr/local/twemproxy/run/redisproxy.log

 

主要参考：缓存 (5)

Redis介绍，安装使用及集群介绍

SSDB介绍与使用

Twemproxy-缓存代理分片机制

Redis语法，Key值设计及常用案例介绍

Redis 3.0 cluster 集群

 

多级缓存实践：结合账户系统

1.HTTP缓存

 

2.本地全量缓存

 

3.分布式缓存

    缓存：用户信息，具体java操作参见：

 

4.应用级缓存

 

补充：

1.亿级流量-Http缓存部分

2.首先是异步，其次使用消息队列，最后可监听binlog的变化

3.多级缓存的搭建

 

 

5.Mysql集群（读写分离/分库分表）

5.1

 

5.2

 

5.3 基于spring-Mybatis的读写分离配置

2个坑：

(1)改文件还是读target里面的内容配置了这个 <aop:aspectj-autoproxy proxy-target-class="true" />   

(2)配置文件先后顺序很重要否则读不到

 

 

 

6.基于Dubbo的分布式服务治理

作用：

 

参考：

构建基于Dubbo的分布式项目

 

环境规划

组件说明IPport
edu-web-bossconsumer192.168.1.111+192.168.1.1128081
edu-service-userprovider/usr/server/edu/service/user-
provider192.168.1.111+192.168.1.1128082
zookeeper-3.4.6注册中心192.168.1.106/107/1082181-2182-2183
MySQL5.6数据库192.168.1.1223306

 这里把未分布式前的tomcat7变成：tomcat7-server1  tomcat7-server2

 

[root@edu-web-01 src]# mv tomcat7 tomcat7-server1
[root@edu-web-01 src]# cp -r tomcat7-server1 tomcat7-server2
 修改tomcat7-server2的相关端口： 
shutdown 端口：8005  主要负责启动关闭.    
ajp端口：8009 主要负责通过ajp均衡（常用于apache和tomcat整合）    
http端口：8081 可以通过web页面直接访问（nginx+tomcata整合）    
#注* 如果tomcat1三个端口分别为：8005 8009 8081 ,那么tomcat2端口在此基础上都+1，即为：8006 8010 8082

 

 

 独立部署Dubbo服务

cd /usr/server/edu/service/user/  
./service-user.sh start  
./service-user.sh stop  
./service-user.sh restart

 

Dubbo 服 务消费者 Web 应用 war

 

#启动
/usr/local/src/tomcat7-server1/bin/startup.sh & tail -f /usr/local/src/tomcat7-server1/logs/catalina.out 
#停止
/usr/local/src/tomcat7-server1/bin/shutdown.sh & tail -f /usr/local/src/tomcat7-server1/logs/catalina.out

测试：

192.168.1.111:8081/edu-web-boss

 

 





构建微服务
因为单个应用存在的一系列问题，选择微服务的特点，对业务模块分割，微服务，提高了。。还不同应用不同步，提高数据处理能力

分库分表技术

搜索引擎

 


可用性：

 

包括监控，降级，限流等慢慢建设
包括：动态变更配置

 

 

软考高级架构师下篇-18大数据架构理论设计与实践
java后端开发的博客，不仅仅是后端开发
10-10 1564
专栏《软考高级架构设计师》更新了，不到一月了，再坚持看看学习啊，本章节是大数据架构设计理论与实践知识，祝大家逢考必过
Ansible的安装及部署
m0_60396816的博客
08-22 4338
1.Ansible的安装 网上下载epel源并安装 dnf install sshpass-1.06-9.el8.x86_64.rpm -y dnf install ansible-2.9.11-1.el8.noarch.rpm -y ansible --version查看Ansible信息 ansible的基本信息： /etc/ansible/ansible.conf ##全局配置文件,默认很少修改 /etc/ansible/hosts ##全局主机清单...
EMQ踩坑之路-搭建/测试/nginx配置websocket的ws及wss/web页面测试连通性、微信小程序使用wss--MQTT推送
诸葛小猿
06-02 1万+
最近公司要做推送平台，我接手做这个任务。在使用过程中遇到一些坑，这里分享给大家。 欢迎关注个人博客和微信公众号，有问题可以相互交流。 个人博客：http://wuxiaolong.tech/ 微信公众号：吴晓龙 一.MQTT协议介绍 推送平台一般是基于轻量级的mqtt协议搭建的。mqtt协议是物联网领域常用的，是实现长链接的一种方式。 先介绍一下http协议，使用http协议...
使用 Apache 服务部署静态网站
weixin_30293135的博客
02-14 296
1.网站服务程序 Web网络服务，一般是指允许用户通过浏览器访问到互联网中各种资源的服务。Apache程序是目前拥有很高市场占有率的Web服务程序之一，其跨平台和安全性广泛被认可且拥有快速、可靠、简单的API扩展。Apache也是RHEL 5、6、7系统中默认的Web服务程序。 第一步：把光盘设备中的系统镜像挂载到 /media/cdrom 目录。 第二步：使用 Vim 编辑器创建 Yum 仓库...
tomcat部署虚拟主机
朱海燕的博客日记
08-29 1098
需求一：创建两台虚拟主机 关键部分 在tomcat的server.xml配置文件，创建两个域名的虚拟机      123 &lt;Host name="www.a.com"  appBase="a" 124             unpackWARs="true" autoDeploy="true"&gt; 125       &lt;/Host&gt; 126           &am
iptables命令、规则、参数详解
diaoxihang5066的博客
12-28 1000
表 (table)包含4个表：4个表的优先级由高到低：raw-->mangle-->nat-->filterraw---RAW表只使用在PREROUTING链和OUTPUT链上,因为优先级最高，从而可以对收到的数据包在连接跟踪前进行处理。一但用户使用了RAW表,在某个链上,RAW表处理完后,将跳过NAT表和ip_conntrack处理,即不再做地址转换和数据包的链...
Docker
qq_64838874的博客
04-12 583
Docker 名词解释 镜像（image） Docker镜像就好比是一个模板，可以通过这个模板来创建容器服务，tomcat镜像 ===> run ===> tomcat01容器， 通过这个镜像可以创建多个容器（最终服务运行或者项目运行就是在容器中的）； 容器（container） ① Docker利用容器技术，独立运行一个或者一组应用， 通过镜像来创建的； ② 启动，停止，删除，基本命令！ ③ 就目前可以把这个容器理解为一个建议的linux系统； 仓库（repository） ①
三层架构-----实践篇-登录小实例
梦蝶
06-19 616
上一篇博客小编简单介绍了一下我们在软件开发过程中应用到的三层架构基本理论。光有理论还是远远不够的，只有真正的 在项目中实践过，才能更好地理解它的精髓所在。接下来小编以一个实现登录功能的小例子来展现三层架构是如何应用到我 们的软件开发过程中的。 ⑴首先我们需要搭建基本框架： 打开我们的VS，新建一个解决方案，在解决方案下面建立类库， 这包括三层架构里面的基本三...
staffjoy-云原生微服务架构搭建与部署资源
最新发布
07-02
本篇内容将详细介绍如何搭建与部署基于Spring Boot和Kubernetes的微服务架构，以此为依托，对"staffjoy-云原生微服务架构搭建与部署资源"这一主题展开深入讨论。 首先，Spring Boot作为一款流行的Java开发框架，它...
大数据存储及分层实践-4-2 实时数仓的场景剖析与架构搭建实战.zip
05-30
本篇内容将深入探讨实时数仓的场景应用及其架构搭建实战，旨在帮助读者理解和掌握相关技术。 实时数仓的核心在于对海量数据进行快速处理和分析。传统的批量处理方式已无法满足当今商业环境的敏捷需求，因此，实时...
5.Cisco Packet Tracer里关于交换机或路由器配置文件和系统映像备份与恢复
deng1973的博客
06-07 2003
　　我们会将交换机或路由器的配置文件和系统镜像直接备份到tftp服务器上，所以我们需要准备一台tftp的服务器 1我们需要给服务器配一个ip地址，给路由器的f0/1端口配置一个ip地址，路由器与服务器能相互ping通 2.配置路由器的启动配置文件 在特权模式下 copy running-config tftp 将配置文件保存备份到tftp服务器 192.168.1.1　　t...
ZooKeeper 分布式协调服务实战---编程不良人 笔记
狗剩的专栏
02-17 957
视频选集 P1.zookeeper的引言 45:33 P2.zookeeper的基本安装和基本操作 50:52 P3.zookeeper的集群 48:56 P4.java 操作客户端 57:22 编程不良人B站笔记 https://www.bilibili.com/video/BV1NE411t7QJ
Flume1.8安装配置与入门实例
程裕强的专栏
12-20 3879
1、下载 http://flume.apache.org/download.html http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz [root@node1 ~]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/f...
Linux命令大全
weixin_45284484的博客
07-27 1755
mattrib命令 Linux mattrib命令 Linux mattrib命令用来变更或显示MS-DOS文件的属性。 mattrib为mtools工具指令，模拟MS-DOS的attrib指令，可变更MS-DOS文件的属性。 语法 mattrib [-a|+a] [-h|+h] [-r|+r] [-s|+s] [-/] [-X] msdosfile [ msdosfiles … ] 参数： -a...
vulnhub Toppo: 1
箭雨镜屋
05-22 506
渗透思路：nmap扫描---->nikto扫描发现可疑目录---->网站文件泄露ssh用户名和密码---->python命令suid提权
linux 防火墙管理工具-- iptables基础知识
wdwangye的博客
05-01 1281
iptables 定义：iptables并不是只防火墙，而是一种客户端工具。用户通过这个客户端（iptables）将用户的安全设定执行到对应的“安全框架”中。这个安全框架才是真正的防火墙。框架名字叫netfilter。 就是通过iptables来操作netfilter。 规则(Rules) 规则就是网络管理员预定义的条件。规则一般的定义为“如果数据报头符合这样的条件，就这样处理这个数据包“”...
jmeter传参二：get与post请求参数传递方法
热门推荐
hw1932的博客
02-27 6万+
得到开发提供的接口文档后，就可以开始写脚本了，如： 1. get请求的入参是json格式的 摘要： 利用httpClient调用接口，成功返回信息 接口地址: (RESTFUL方式) http://192.168.100.87:10051/ngcctcontrol/ws/interfaces/userSatisfy
keepalived 搭建主备模式、双机热备模式
悟世君子的博客
07-06 3919
准备2台机器，ip 地址分别是 192.168.0.124，168.0.8.0.123，后面简称124和123目录1、主备模式1.1、安装 keepalived1.2、配置 keepalived 1.3、启动 keepalived1.4、配置备份节点1.5、测试主备模式2、双机热备模式2.1、配置 keepalived2.2、测试在 2 台机器上分别安装 keepalived 这里笔者将 124 作为主节点，123 作为备用节点安装完成后，进入keepalived 配置文件目录 编辑配置前，先查看1
SSH架构搭建实战：LoginDemo项目
"SSH架构搭建--LoginDemo 是一篇关于如何在Java Web开发环境中构建SSH（Struts、Spring、Hibernate）架构的教程，由黄圣彪撰写。教程在Windows XP Pro系统下，使用MyEclipse 5.5.1 GA集成开发环境和MySQL 5.0数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值