网关数据丢失分析处理

最新推荐文章于 2025-02-17 10:43:04 发布

原创

最新推荐文章于 2025-02-17 10:43:04 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

这篇博客分析了网关数据丢失的原因，从防火墙检查到阿里云SLB监控，再到ECS节点的网卡丢包检查。主要问题是UDP接收缓冲区不足和系统句柄限制，通过调整sysctl参数和文件句柄限制，减少了丢包并优化了系统性能。

0.防火墙问题

如果系统是因为防火墙而丢包，表现的行为一般是所有的报文都无法正常接收,要排查的业务中只是部分相对少量丢包，认为非防火墙问题。（当然不排除防火墙只 drop 一部分报文的可能性。如果遇到丢包比率非常大的情况，防火墙某规则主动 drop UDP 报文）

1.检查阿里云SLB监控状态？

A、查看丢弃数据包数目？

发现为0,认为正常

B、检查丢弃连接数目？

发现为0.认为正常

2.命令检查每一台ECS,确认是否丢包

A、查看网卡丢包数据

命令 ifconfig eth0

查看显示结果中 errors 和 dropped 数目

errors 0 dropped 0

备注：如果硬件或者驱动没有问题，一般网卡丢包是因为设置的缓存区（ring buffer）太小

检查发现每一个节点errors和dropped查询值都为0,继续往下排查

B、检查报文数据

命令 netstat -s -u

发现其余节点都正常，但是有两台ECS表现如下

packet receive errors 不为空，并且在一直增长说明系统有 UDP 丢包
packets to unknown port received 表示系统接收到的 UDP 报文所在的目标端口没有应用在监听，一般是服务没有启动导致的
receive buffer errors 表示因为 UDP 的接收缓存太小导致丢包的数量

上述的表现中

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

火蓝棋

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

支付中台：从网关层到数据分析层详解

王中阳讲编程

12-09

2068

边缘计算网关功能优势及带来的数据处理变化

bjttsf的博客

02-10

698

边缘计算是一种分布式计算架构，其核心思想是将数据处理、存储和服务功能移近数据产生的边缘位置，即接近数据源和用户的位置，而不是依赖中心化的数据中心或云计算平台。1、数据采集：边缘计算网关可以从各种传感器、设备和系统中收集数据，支持多种通信协议和接口，如Modbus、OPC UA、MQTT、HTTP等。2、数据处理：在本地对数据进行预处理和分析，减轻云端处理的负担，降低数据传输的成本和延迟。7、更好的数据质量：在数据上传到云端之前，进行数据清洗和校验，提高数据的质量和准确性。

参与评论您还未登录，请先登录后发表或查看评论

Linux之TCPIP内核参数优化

weixin_30604651的博客

04-17

851

　　本文以Ubuntu 12.04 LTS Desktop (x64)默认配置为例（机器的内存为4GB），推荐先阅读《TCP连接的状态与关闭方式，及其对Server与Client的影响》、《Windows系统下的TCP参数优化》，以了解TCP优化的相关知识。 /proc/sys/net目录　　所有的TCP/IP参数都位于/proc/sys/net目录下（请注意，对/proc/sys/ne...

修改、查看Linux 系统内核参数的命令

captain

07-31

1557

sysctl用于在运行时查询和修改内核参数。它允许用户在不重新启动系统的情况下动态地修改内核参数。这是一个特定的内核参数，控制了系统中单个套接字接收缓冲区的最大大小（Receive Socket Buffer）。net.corermem_max这个参数的值决定了一个单独的网络套接字能够使用的最大接收缓冲区大小。接收缓冲区的大小对网络性能和吞吐量有重要影响，尤其是在高负载或高速网络环境下。如果执行，它会返回当前系统中的当前值。

linux centos7 系统内核参数调优

weixin_50663202的博客

11-12

1982

cat /etc/sysctl.conf CTCDN系统优化参数关闭ipv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 避免放大攻击 net.ipv4.icmp_echo_ignore_broadcasts = 1 开启恶意icmp错误消息保护 net.ipv4.icmp_ignore_bogus_error_responses = 1 关闭路由转发 net.ipv4.ip_forward = 0 n

java Feign远程调用，跳过网关gateway，网关数据丢失bug

u010665359的专栏

12-10

1426

最近在搞java的服务器端，在项目里面使用了spring cloud 一个个坑填！今天遇到一个坑：Feign远程调用，跳过网关gateway，网关数据丢失bug！记录下！使用Feign配置重新添加header,根据自己项目来： @Slf4j @Configuration public class FeignConfig implements RequestInterceptor { @Override public void apply(RequestTemplate reque

视频上云网关EasyCVR程序数据库内数据会丢失吗？

EasyCVR视频融合云平台的技术博客

06-15

327

对我们的研发团队来说，做视频行业，除了需要关注传输速率的问题之外，视频数据的存储也是一个重要问题，视频的数据是庞大的，保证视频数据的安全和存储我们同样要重视。有的用户可能会问：这么庞大的数据，怎么保证数据不丢失呢？数据丢失了又该怎么办？恰巧，我们在做EasyCVR的使用测试时，就对此问题进行了测试，多少还是暴露出了一些问题，但我们也对此问题进行了比较妥善的解决。我们测试发现，在EasyCVR程序正在运行中时，如果按Ctrl+C强制退出，数据库中偶尔会有数据丢失，比如添加的设备和通道没有了。比较麻

智能家居网关与云服务器数据同步协议的研究.pdf

07-15

为了解决这一问题，论文中提出了基于云技术的智能家居网关管理系统，其主要功能包括对所有用户的智能家居网关数据进行集中存储和定时备份，以及对单个用户智能家居网关数据的管理和恢复。此管理系统通过数据同步...

bdnotes-物联网设备接入与数据处理资源

07-13

同时，还可能讨论了数据处理过程中可能遇到的挑战，例如数据的不一致性、丢失、安全性和隐私保护等问题，并给出了解决方案。此外，文档中还可能包含了对物联网设备数据处理的未来趋势的预测和分析，比如边缘计算、...

Exception异常处理实战案例之物联网设备数据采集系统的可靠性保障.docx

最新发布

10-21

它不仅能够应对各种突发的异常情况，还能够在异常发生后迅速恢复正常工作状态，最大限度地减少数据丢失和系统瘫痪的风险。未来的发展方向可能包括进一步优化异常处理逻辑，引入更多的智能分析方法来预测和防范异常，...

网关丢失解决方法

七夕小子的博客

06-05

2417

运行->cmd netsh winsock reset catalog netsh int ip reset reset.log

常见linux内核参数修改

sully2008的专栏

03-14

7302

一.内核参数修改参数说明 #最大的TCP数据接收窗口（字节） #当前值： net.core.rmem_max=16777216 #最大的TCP数据发送窗口（字节）。 #当前值 net.core.wmem_max=16777216 #为自动调优定义socket使用的内存。第一个值是为socket接收缓冲区分配的最少字节数；第二个值是默认值（该值会被rmem_default覆盖），缓...

linux socket 缓存: core rmem_default rmem_max

mtAsnow

12-09

2112

sysctl -w net.core.rmem_default=500000 sysctl -w net.core.rmem_max=1000000 sysctl -w net.core.wmem_default=5000000 sysctl -w net.core.wmem_max=1000000 How To: Network / TCP / UDP Tuning This is a very...

/etc/sysctl.conf的参数

影子

09-21

2726

我们公司最近Android部分用户不能连接服务器移动、电信、联通都出现了问题，ios却是可以连接服务器，很稳定，找了很多关于后端的问题，基本都没啥问题，最后发现Android里面每次请求服务器都要ping一下www.baidu.com ,ios则是ping的我们服务器。故当我们在使用阿里云的VPC虚拟专网的时候，使用弹性IP接入，一定要注意NAT的问题，在服务器参数上关闭net.ipv4.tcp_tw_recycle。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭。

修改udp的缓冲区大小

宝安小雨

11-12

4383

sysctl -w net.core.rmem_max=16777216 sysctl -w net.core.wmem_max=16777216 sysctl -w net.core.wmem_default=16777216 sysctl -w net.core.rmem_default=16777216 sysctl -w net.ipv4.udp_mem=“16777216 16777216 16777216” sysctl -w net.ipv4.udp_rmem_min=16777216 sys

内核参数-- 使用sysctl 命令配置内核参数

weixin_53704976的博客

09-08

7465

linux的内核参数，可以通过sysctl 命令进行配置和优化。实际参数很多，就不一一赘述了，大家可以在实际业务中适时的实践。

Spring cloud 用zuul做网关，请求头信息丢失

灵豸

03-04

677

问题：由于我的拦截器没有放在zuul里面，而是放在每个api工程中发现客户端发送请求到zuul的时候，zuul会过滤请求头（header），把一些敏感信息过滤（比如：cookie，Authorization，Set-Cookie）解决方案一：在zuul工程的配置文件（yml）中，添加添加完了之后最好把所有工程重新启动一下，才会生效。解决方案二：在代码中通过过滤器向下传递 @Component public class WebFilter extends ZuulFilter { @Over

网关丢失解决方法_七夕小子_新浪博客

七夕小子的博客

06-05

335

运行->cmd netsh winsock reset catalog netsh int ip reset reset.log

国产Linux OS：网络性能调优关键内核参数

三问Linux社区

02-17

1671

国产Linux OS：网络性能调优关键内核参数对比欧拉/龙蜥/麒麟/Ubuntu/CentOS/Rocky OS的默认参数给出配置推荐和配置方法

数据网关

08-22

### 数据网关的定义与用途数据网关是一种用于连接不同网络环境或系统之间的桥梁设备或软件，其主要功能是实现数据的采集、转换、传输和管理。数据网关通常用于物联网（IoT）、工业自动化、企业网络等场景中，解决设备与系统之间的异构性问题，确保数据能够在不同协议和格式之间无缝传递。在工业领域，数据网关常用于连接现场设备（如传感器、PLC、仪表等）与上层管理系统（如云平台、SCADA系统等），实现数据的集中采集与处理。例如，IO数据采集网关支持多种工业通信协议（如Modbus、OPC UA、Profibus、BACnet等），能够采集温度、压力、流量等模拟量数据，以及开关状态、报警信号等数字量数据，并将这些数据通过标准化协议（如MQTT、HTTP、CoAP等）上传至云端或其他管理系统。 ### 数据网关的核心功能 1. **多协议兼容与数据采集** 数据网关支持多种通信协议，能够接入不同厂商的设备，并采集各类数据。例如，支持Modbus协议的设备可以通过数据网关与支持MQTT协议的云平台进行通信。 2. **边缘计算与数据预处理** 数据网关可以在本地对采集到的数据进行清洗、过滤、聚合和计算，减少无效数据的传输量，降低云端负载。此外，数据网关还支持自定义脚本或规则引擎，实现数据异常检测、逻辑判断和本地联动控制。 3. **协议转换与数据标准化** 数据网关能够将不同设备的私有协议转换为标准协议（如MQTT、HTTP、CoAP等），确保数据能够统一上传至云平台或管理系统。同时，数据网关还支持数据格式转换（如JSON、XML），便于后续的数据分析和可视化展示。 4. **可靠的数据传输与安全保障** 数据网关支持有线（以太网、光纤）和无线（4G/5G、Wi-Fi、LoRa）等多种传输方式，确保数据稳定传输。此外，数据网关还提供数据加密（如TLS/SSL）、身份认证（如用户名/密码、证书）和访问控制功能，防止数据泄露和非法访问。 5. **设备管理与远程配置** 数据网关支持远程监控设备状态、配置参数和固件升级，减少现场维护成本。同时，数据网关还提供设备日志记录和故障诊断功能，便于快速定位和解决问题。 6. **本地存储与断点续传** 数据网关内置存储空间（如SD卡、Flash），在网络中断时可以临时存储数据，待网络恢复后自动续传，确保数据不丢失。 ### 数据网关的配置方法 1. **硬件准备** 在配置数据网关之前，需要确保硬件设备已经正确连接。通常，数据网关需要连接到现场设备（如传感器、PLC等）以及网络（如以太网、Wi-Fi等）。根据具体的通信需求，选择合适的接口（如RS485、RS232、CAN总线、以太网等）进行连接。 2. **网络配置** 数据网关需要配置网络参数，以确保能够正常接入网络。通常需要设置IP地址、子网掩码、默认网关和DNS服务器等信息。如果使用的是无线网络（如4G/5G、Wi-Fi），还需要配置SSID和密码等参数。 3. **协议配置** 数据网关需要配置通信协议，以便与现场设备和上层管理系统进行通信。例如，如果现场设备使用Modbus协议，而云平台使用MQTT协议，则需要在数据网关中配置Modbus和MQTT协议的参数，包括端口号、主题名称、QoS等级等。 4. **数据采集与处理** 数据网关需要配置数据采集的频率、数据点（如温度、压力等）以及数据处理的规则。例如，可以设置每秒钟采集一次温度数据，并对采集到的数据进行过滤和计算（如求平均值、最大值、最小值等）。 5. **安全配置** 数据网关需要配置安全策略，以确保数据传输的安全性。通常需要设置数据加密（如TLS/SSL）、身份认证（如用户名/密码、证书）和访问控制规则。例如，可以设置只有特定的IP地址或用户才能访问数据网关。 6. **远程管理与维护** 数据网关支持远程管理与维护，用户可以通过云平台或管理系统对数据网关进行监控和配置。例如，可以远程查看设备状态、更新固件、配置参数等。 ### 数据网关的应用场景 1. **智能制造** 数据网关可以采集生产线设备的数据，实现生产过程监控和质量控制。例如，通过数据网关采集设备的运行状态、生产效率等数据，并将这些数据上传至云平台进行分析。 2. **智慧能源** 数据网关可以监测电力、燃气等能源消耗，优化能源管理。例如，通过数据网关采集电表、燃气表的数据，并将这些数据上传至能源管理系统进行分析。 3. **智慧城市** 数据网关可以连接路灯、环境传感器等设备，实现城市基础设施的智能化管理。例如，通过数据网关采集路灯的开关状态、环境传感器的温度、湿度等数据，并将这些数据上传至城市管理系统进行分析。 4. **工业物联网（IIoT）** 数据网关可以作为边缘节点，支撑工业互联网平台的数据采集需求。例如，通过数据网关采集工厂设备的数据，并将这些数据上传至工业互联网平台进行分析。 ### 示例代码以下是一个简单的Python示例，展示如何通过MQTT协议将数据从数据网关上传至云平台： ```python import paho.mqtt.client as mqtt # 定义MQTT客户端 client = mqtt.Client(client_id="gateway_001") # 连接到MQTT代理 client.connect("mqtt.broker.address", 1883, 60) # 发布数据 topic = "sensor/temperature" payload = "25.5" client.publish(topic, payload) # 断开连接 client.disconnect() ``` ###