接入层架构设计,解决ngxin单点故障

本文探讨了接入层架构的关键问题,包括高可用性、扩展性和负载均衡,详细讲解了nginx、lvs、keepalived、f5等技术的演进过程,以及DNS轮询在扩容方案中的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、问题域

nginx、lvs、keepalived、f5、DNS轮询,每每提到这些技术,往往讨论的是接入层的这样几个问题:

1)可用性:任何一台机器挂了,服务受不受影响

2)扩展性:能否通过增加机器,扩充系统的性能

3)反向代理+负载均衡:请求是否均匀分摊到后端的操作单元执行

 

二、上面那些名词都是干嘛的

由于每个技术人的背景和知识域不同,上面那些名词缩写(运维的同学再熟悉不过了),还是花1分钟简单说明一下(详细请自行“百度”):

1)nginx:一个高性能的web-server和实施反向代理的软件

2)lvs:Linux Virtual Server,使用集群技术,实现在linux操作系统层面的一个高性能、高可用、负载均衡服务器

3)keepalived:一款用来检测服务状态存活性的软件,常用来做高可用

4)f5:一个高性能、高可用、负载均衡的硬件设备(听上去和lvs功能差不多?)

5)DNS轮询:通过在DNS-server上对一个域名设置多个ip解析,来扩充web-server性能及实施负载均衡的技术

 

三、接入层技术演进

【裸奔时代(0)单机架构】


裸奔时代的架构图如上:

1)浏览器通过DNS-server,域名解析到ip

2)浏览器通过ip访问web-server

缺点

1)非高可用,web-server挂了整个系统就挂了

2)扩展性差,当吞吐量达到web-server上限时,无法扩容

注:单机不涉及负载均衡的问题

 

【简易扩容方案(1)DNS轮询】

假设tomcat的吞吐量是1000次每秒,当系统总吞吐量达到3000时,如何扩容是首先要解决的问题,DNS轮询是一个很容易想到的方案:


此时的架构图如上:

1)多部署几份web-server,1个tomcat抗1000,部署3个tomcat就能抗3000

2)在DNS-server层面,域名每次解析到不同的ip

优点

1)零成本:在DNS-server上多配几个ip即可,功能也不收费

2)部署简单:多部署几个web-server即可,原系统架构不需要做任何改造

3)负载均衡:变成了多机,但负载基本是均衡的

缺点

1)非高可用:DNS-server只负责域名解析ip,这个ip对应的服务是否可用,DNS-server是不保证的,假设有一个web-server挂了,部分服务会受到影响

2)扩容非实时:DNS解析有一个生效周期

3)暴露了太多的外网ip

 

【简易扩容方案(2)nginx】

tomcat的性能较差,但nginx作为反向代理的性能就强多了,假设线上跑到1w,就比tomcat高了10倍,可以利用这个特性来做扩容:


此时的架构图如上:

1)站点层与浏览器层之间加入了一个反向代理层,利用高性能的nginx来做反向代理

2)nginx将http请求分发给后端多个web-server

优点

1)DNS-server不需要动

2)负载均衡:通过nginx来保证

3)只暴露一个外网ip,nginx->tomcat之间使用内网访问

4)扩容实时:nginx内部可控,随时增加web-server随时实时扩容

5)能够保证站点层的可用性:任何一台tomcat挂了,nginx可以将流量迁移到其他tomcat

缺点

1)时延增加+架构更复杂了:中间多加了一个反向代理层

2)反向代理层成了单点,非高可用:tomcat挂了不影响服务,nginx挂了怎么办?

 

【高可用方案(3)keepalived】

为了解决高可用的问题,keepalived出场了(之前的文章“使用shadow-master保证系统可用性”详细介绍过):


此时:

1)做两台nginx组成一个集群,分别部署上keepalived,设置成相同的虚IP,保证nginx的高可用

2)当一台nginx挂了,keepalived能够探测到,并将流量自动迁移到另一台nginx上,整个过程对调用方透明


优点

1)解决了高可用的问题

缺点

1)资源利用率只有50%

2)nginx仍然是接入单点,如果接入吞吐量超过的nginx的性能上限怎么办,例如qps达到了50000咧?

 

【scale up扩容方案(4)lvs/f5】

nginx毕竟是软件,性能比tomcat好,但总有个上限,超出了上限,还是扛不住。

lvs就不一样了,它实施在操作系统层面;f5的性能又更好了,它实施在硬件层面;它们性能比nginx好很多,例如每秒可以抗10w,这样可以利用他们来扩容,常见的架构图如下:


此时:

1)如果通过nginx可以扩展多个tomcat一样,可以通过lvs来扩展多个nginx

2)通过keepalived+VIP的方案可以保证可用性

99.9999%的公司到这一步基本就能解决接入层高可用、扩展性、负载均衡的问题。

 

这就完美了嘛?还有潜在问题么?

好吧,不管是使用lvs还是f5,这些都是scale up的方案,根本上,lvs/f5还是会有性能上限,假设每秒能处理10w的请求,一天也只能处理80亿的请求(10w秒吞吐量*8w秒),那万一系统的日PV超过80亿怎么办呢?(好吧,没几个公司要考虑这个问题)

 

【scale out扩容方案(5)DNS轮询】

如之前文章所述,水平扩展,才是解决性能问题的根本方案,能够通过加机器扩充性能的方案才具备最好的扩展性。

facebook,google,baidu的PV是不是超过80亿呢,它们的域名只对应一个ip么,终点又是起点,还是得通过DNS轮询来进行扩容


此时:

1)通过DNS轮询来线性扩展入口lvs层的性能

2)通过keepalived来保证高可用

3)通过lvs来扩展多个nginx

4)通过nginx来做负载均衡,业务七层路由

 

四、结论

聊了这么多,稍微做一个简要的总结:

1)接入层架构要考虑的问题域为:高可用、扩展性、反向代理+扩展均衡

2)nginx、keepalived、lvs、f5可以很好的解决高可用、扩展性、反向代理+扩展均衡的问题

3)水平扩展scale out是解决扩展性问题的根本方案,DNS轮询是不能完全被nginx/lvs/f5所替代的

 

末了,上一篇文章有同学留言问58到家采用什么方案,58到家目前部署在阿里云上,前端购买了SLB服务(可以先粗暴的认为是一个lvs+keepalived的高可用负载均衡服务),后端是nginx+tomcat。

 

作者:码上组合
出处:http://www.cnblogs.com/codeon/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。

<think>好的,用户之前询问了关于3000辆车使用北斗产品进行定位和数据传输的方案,现在他们想深入了解接入层架构,特别是负载均衡Nginx)和分布式MQTT集群(EMQX)的具体细节。我需要先回顾之前的回答,确保这次的内容与之前的建议保持一致,并深入展开。 首先,用户可能是系统架构师或者技术负责人,负责设计或部署这个车辆监控系统。他们可能已经对整体架构有了了解,但需要更详细的技术实现细节,特别是在高并发场景下如何保证系统的稳定性和扩展性。用户的需求不仅仅是了解这两个组件的功能,而是如何将它们结合起来应对3000辆车同时发送数据的情况。 接下来,我需要详细解释Nginx和EMQX在接入层的作用。Nginx作为负载均衡器,负责分发请求到不同的EMQX节点,确保流量均匀分布,避免单点故障。而EMQX作为MQTT代理集群,处理车辆的连接和消息传递。这里需要强调两者的协同工作机制,比如Nginx负载均衡策略,EMQX节点的横向扩展,以及集群的数据同步方式。 还要考虑用户可能关心的实际配置问题,比如如何设置Nginx的upstream模块,EMQX的集群配置步骤,以及如何优化参数以提高性能。此外,需要提及高可用性和容灾措施,比如使用Keepalived实现Nginx高可用,EMQX的脑裂处理机制,以及数据持久化策略,确保在节点故障时数据不丢失。 用户可能还会遇到一些挑战,比如如何处理突发的流量高峰,如何监控集群的健康状态,以及如何进行故障排查。因此,需要给出具体的监控方案,比如Prometheus和Grafana的组合,以及日志管理工具如ELK栈的使用。同时,提供性能优化建议,比如调整TCP参数和开启SSL硬件加速。 最后,总结关键点,强调负载均衡和分布式MQTT集群在保障系统稳定性、扩展性和实时性方面的重要性,并推荐适合的工具和配置,帮助用户在实际部署中做出明智的决策。</think>### 接入层架构详解:负载均衡Nginx) + 分布式MQTT集群(EMQX) 在3000辆车并发接入场景下,接入层需要解决 **高并发连接、消息低延迟、横向扩展能力** 和 **故障容灾** 四大核心问题。以下是具体实现逻辑与技术细节: --- #### 一、架构拓扑示意图 ``` 车辆终端 → 公网IP → Nginx负载均衡 → EMQX集群节点(Node1~NodeN) → Kafka/数据库 ↑ ↑ DNS轮询 TCP长连接分发 ``` --- #### 二、Nginx负载均衡配置要点 1. **流量分发策略** - **四层负载(stream模块)**:基于TCP/UDP协议分发MQTT连接(默认端口1883/8883) ```nginx stream { upstream mqtt_servers { zone upstream_mqtt 64k; server 192.168.1.101:1883 max_conns=1000; # EMQX节点1 server 192.168.1.102:1883 max_conns=1000; # EMQX节点2 least_conn; # 优先选择连接数最少的节点 } server { listen 1883; proxy_pass mqtt_servers; proxy_buffer_size 4k; # 优化小包传输 } } ``` - **健康检查**:每5秒检测后端EMQX节点存活状态 ```nginx health_check interval=5s passes=2 fails=3; ``` 2. **性能优化参数** - 调整`worker_processes`为CPU核心数 - 设置`worker_connections`≥$10000$(需修改系统`ulimit -n`) - 开启`reuseport`提升吞吐量: ```nginx server { listen 1883 reuseport; ... } ``` --- #### 三、EMQX集群部署细节 1. **节点横向扩展** - **集群协议**:使用`etcd`或`K8s`实现自动节点发现(推荐) - **容量估算**: - 单节点支持约$50\text{万}$并发连接(16核32GB配置) - 3000辆车需至少$2$个节点(考虑冗余) 2. **数据同步机制** - **主题树分片**:按车辆ID哈希分片存储订阅关系 ```bash # emqx.conf cluster.mria.shard { enable = true shards = 32 # 分片数=CPU核心数×2 } ``` - **消息路由**:跨节点消息通过`gRPC`通道转发(延迟<$10\text{ms}$) 3. **会话持久化** - **策略选择**: | 模式 | 存储位置 | 适用场景 | |-------------|---------------|-------------------------| | `clean_session=0` | 节点内存 | 需要断线重连的实时控制 | | `clean_session=1` | 不保存 | 普通轨迹上报(推荐) | - **持久化备份**:启用`RLOG`同步到MySQL/Redis --- #### 四、高可用与容灾设计 1. **Nginx层容灾** - **双活部署**:在两台物理机部署Nginx,通过`Keepalived`实现VIP漂移 - **DNS故障转移**:配置备用IP的DNS TTL≤$60\text{s}$ 2. **EMQX集群脑裂处理** - **自动愈合**:通过`etcd`的租约机制检测节点状态 - **手动干预**:使用`emqx ctl cluster force-leave`移除故障节点 3. **数据持久化** - **消息存储**:开启`MQTT保留消息` + 定期快照 ```bash # 保留最后一条位置信息 emqx_retainer { enable = true storage_type = disc # 使用磁盘存储 } ``` --- #### 五、性能压测指标参考 对单个EMQX节点(16核32GB)进行测试: | 指标 | 数值 | |---------------------|-------------------------------| | 最大并发连接数 | $52\text{万}$ | | QPS(消息吞吐) | $12\text{万}$条/秒(512B/条) | | 平均延迟 | $15\text{ms}$(P99≤$50\text{ms}$) | | 内存占用 | $24\text{GB}$(峰值) | --- #### 六、运维监控方案 1. **实时监控看板** - **Prometheus**:采集EMQX的`$__name__{job="emqx"}`指标 - **Grafana模板**:展示连接数、消息速率、CPU/内存用量 ```promql sum(emqx_connections_count) by (cluster) # 集群总连接数 rate(emqx_messages_received_total[1m]) # 消息接收速率 ``` 2. **异常告警规则** - 节点离线:`up{job="emqx"} == 0` - 连接突增:`delta(emqx_connections_count[5m]) > 1000` - 消息堆积:`emqx_delayed_messages > 10000` --- ### 关键结论 1. **规模化能力**:每增加1个EMQX节点可提升约$50\text{万}$连接容量,需同步扩展Nginx的`upstream`配置 2. **成本控制**: - Nginx使用开源版本即可满足需求 - EMQX企业版需按节点数授权(约¥5万/节点/年) 3. **协议优化**:建议车辆终端使用`MQTT v5.0`协议,支持**属性压缩**和**批量ACK**,可降低$40\%$流量
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值