全流量分析发现问题解决问题案例

CTF——流量分析题型整理总结 我见过的流量分析类型的题目总结: 一,ping 报文信息 (icmp协议) 二,上传/下载文件(蓝牙obex,http,难:文件的分段上传/下载) 三,sql注入攻击 四,访问特定的加密解密网站(md5,base64) 五,后台扫描+弱密码爆破+菜刀 六,usb流量分析 七,WiFi无线密码破解 八,根据一组流量包了解黑客的具体行为 例题: 一,ping 报文信息 (icm... 阅读详情

一、网络关键路径性能传导视图

在NetInside可观测性模块中,我们基于k8s集群的业务逻辑结构,自定义的建立了以用户体验为中心的网络性能模型,如下图:

在这个流量模型中,浅绿色为体验传递与消减情况,因为用户的一个服务请求,在内部有多个处理逻辑,前一个逻辑的体验时间,依赖后一个逻辑的处理时间,所以其体验时间,会在多个处理逻辑进行传导,我们称之为性能传导视图,浅蓝色部分为处理逻辑向外请求的数据,浅红色则为处理逻辑中影响性能的关键指标。

二、发现问题

视图构建完成之后,竟然出现了橙色体验告警色块,这与我们的想象中的预期不符。在此之前,k8s集群一直是稳定运行,服务器接入也是全千M,基于我们对比业务和流量的了解,纯千的接入完全够用,且传统意义上的监控,也没有出现任何异常,所以出现个近40MS的服务器响应延迟,让我们有点惊讶。

继续看视图,我们发现这个橙色体验告警色块到数据库集时就没有了,可以初步判断问题的关键在于k8s集群。而k8s存在SDN网络,所以是SDN网络问题,还是物理网络问题,我们得区分出来,所以我们把k8s物理网络的性能指标也构建出来做为比较,结果问题还是指向k8s的SDN网络上,结合k8s集群SDN网络里面的关键性能指标,发现TCP的连接失败率还挺高的,由此其实已经可以判断,问题点,应该还是在k8s集群里面。

基于现有分析,我们决定先解决连接失败问题,因为这个问题与响应延迟是同一类型的问题,只是问题表现的程度不同。但面对这个问题的时候,让我们不得不面对一个让我们有点无语的问题。我们知道,TCP连接的建立是由linux内核完成的,而无论是容器也好,k8s的SDN也好,服务器的物理网络也好,对于k8s集群而言,其实都是在同一个内核上!也就是说,同一个人,干的同样的活,为什么表现的情况是不一样的?

三、分析问题

按下疑问,我们先对问题本身进行一些分析。

TCP连接的建立与维护是由linux内核完成的,所以,影响TCP连接失败的,通常有三种情况:

1,半连接及全连接队列溢出;

2,因时间戳而丢弃的;

3,程序异常;

程序异常暂时本次不考虑,因为这种情况多半都是百分百连接失败,也比较好识别,我们将把这种情况单独抽出来做另案处理。  

而第一种情况的也有三种可能:

1,并发连接太多;

2,队列太小;

3,程序处理太慢;

基于本次问题的实际情况,处理起来比较快的,还是队列大小问题,经过核查,队列确实太小,都是默认值没有做优化。队列太小只要优化一下内核参数就可以,但怎么处理就又回到了刚才的问题:优化linux内核对容器里面的应用有效吗?

四、深入linux内核分析

我们知道,容器里进程本身也是宿主机上的一个进程,只是通过namesapce(命名空间)进行隔离了,本质上也使用的是同一个内核,与宿主上的进程没有什么区别。那么对宿主机的内核化是否就会影响到容器里面?为回答这个问题,我们需要了解namespace在内核中是如何实现的。

既然都是进程 ,我们就从进程开始。在linux内核里面,对进程的处理及调度,都是通过task_struct这个结构体,所有与进程相关的信息,都在这个结构体里面,我们在这个里面找找关于namespace相关的内容:

与namespaces相关的结构体是nsproxy,我们接着看这个结构体面有什么:

namespaces命名空间有5个,都在这个结构体里面,我们主要是看关于网络的,所以接着找net:

到这里我们看到了一个关键目录:proc_net,其实就是proc目录,我们可以看下他初始化的代码:

可以确认,proc_net初始化的时候,就是加载的proc根目录, 而proc这个目录是一个虚拟的文件系统, 它不存在于磁盘上, 而是存在于系统内存中。proc以文件系统的方式为访问系统内核的操作提供接口,且内核及进程运行时候的所有信息,都放在这里面。换句话说,我们对内核的优化,其实就是操作这个目录里面的文件。那么宿主上的proc目录与容器里面的proc目录是不是同一个呢?可惜,不是同一个,因为这个目录是动态从系统内核读出所需信息的,而namespaces又在内核及进程上命名隔离,所以信息不一样。

五、验证

无论理论研究的怎么样,都要实际验证一下我们的理解对不对。我们先在宿主上拿一个全连接队列优化的参数somaxconn来验证,如下图:

可以看到,此参数优化后,开启一个nginx进程,其队列最大值已经成256。现在我们启动一个nginx容器,看值变化了没有,如下图:

可以看到,容器里面的nginx的值,还是默认的128.也就是说,优化宿主内核,对容器内是无效的。

那么如果优化容器里面的参数,对TCP连接有没有实际的影响呢?我们也压测一下,为了方便比对,我们在同一台主机上开两台nginx容器,一台有优化的,端口是9001,一台没有优化的,端口9002,如下:

请注意,docker与k8s在内核优化的位置不太一样,此处简单验证。

确认是否优化情况:

通过ab 反复多次打连接流量:

查看队列溢出情况:

可以看到,经过优化的,没有出现队列溢出,而没有优化的,则发生了6000多次的队列溢出。

由此,我们通过验证,确认容器内是需要单独进行优化的,这与我们理论上的分析一致。

六、补充一个知识点

为什么SS -ltpn里面的Send-Q是全连接队列最大值?这不是发送队列吗?你的怀疑没有错,但SS这个有点不一样,SS命令利用到了 TCP 协议栈中tcp_diag,tcp_diag 是一个用于分析统计的模块,可以获得 Linux 内核中第一手的信息,而这个模块通过区分状态来区分指标的含义,这种做法,我们也觉得好奇怪,看源码:

七、结语

通过NetInside自定义的视图,我们预见了容器网络优化的问题,接下来,将推进集群的整体优化。在本次的预见性运维中所发现的问题,与相关的k8s领域内专业的朋友沟通后,发现大部份情况下,大家对此问题是忽视的,一方面是传统运维监控系统下视觉的不足,另一方面也是大家想当然的认宿主机的内核优化会自然的与容器同步的,导致这个问题成了盲点。所以基于全流量的监测与分析,深入所有网络应用的“血液”进行诊断,可以消除我们的监测盲点,预见问题的存在,在问题发生前,解决问题,减少不必要的业务损失。

                                                                                                            jansen#FZ

                                                                                                            jingshne#outlook.com

【CTF流量分析:从入门到精通】 CTF(Capture The Flag)是一种网络安全竞赛,其中流量分析是一种常见的题型。流量分析就是通过分析网络流量包,提取出有用的信息,如密码、密钥、文件、flag等。流量分析需要掌握一些基本的网络协议知识,以及一些常用的工具和技巧。本文将介绍流量分析的基本概念,常见的题型和解题方法,以及一些实战案例,帮助你从入门到精通流量分析。 阅读详情

相关推荐

ctf流量分析练习一

最近在学习流量分析这块的内容,找到一篇不错的文章,就准备复盘一下。 原文链接:https://www.freebuf.com/column/169738.html Q1 打开这个流量包,大致分析一下是一个邮箱请求登陆的一个流量包,一眼就看见了 user和pass,需要base64解密一下即可。 base64解密地址:https://base64.supfree.net/ username:test@51elab.com password:FLAG:ISCCTESTpas flag就藏在password里 Q

gclome的博客 4499

从流量分析看linux内核与容器关系

基于预见性运维,我们利用NetInside可观测性模块,自定义网络性能传导视图,对某k8s集群进行性能监测,意外的发现了linux内核与容器关系的特别处,并深入分析了namespace在linux内核里的实现机制,为推动潜在问题解决提供了理论基础。

NetInside_的博客 952

流量分析

一、流量分析的价值 业务上: 1.清晰了解流量来源以及各来源的质量。 2.清晰了解流量在产品内部的运行轨迹和路径,从而优化产品结构。 3.清晰了解在用户路径的每个节点上,流量转化和损耗情况,从而找出问题点进行优化。 4.清晰了解运营活动中,如何设计运营活动页、广告投放页等页面,能更好的承接流量和转化,提高ROI。 技术上︰ 1.发现底层服务上的BUG,降低服务崩溃导致的损失。 2.改进资源部署网络,合理分配软硬件资源。 总的来说,流量分析主要是让我们知道,用户是从什么渠道到达产品的,在产品内部是如何流转的,

加油小白的博客 8771

想更好应对突发网络与业务问题?需要一款“全流量”工具

在数字化高压环境中,业务中断可能导致巨大损失。传统日志和采样监控可能遗漏关键线索,而全流量可视化则能提供无丢失的网络流量采集、分析和回溯,覆盖L2-L7层数据包,还原真实场景。全流量可视化在突发问题中尤为重要,能准确定位问题源头、绕开日志盲区、精准应对安全威胁。然而,实施全流量可视化也面临数据量大、隐私合规和网络架构部署等挑战。全流量可视化并非监控的全部,而是多维度运维体系的补充。在紧急复杂的网络与业务异常场景下,全流量可视化能提供还原一切的能力,是未来运维、安全和分析趋势中不可或缺的基石。

Johnstons的博客 1024

[burp对蚁剑流量分析问题]

这两天在用burp对蚁剑进行流量分析的学习 蚁剑首先打开代理设置,代理地址和端口配置成burp的 完成后蚁剑随便打开一个文件或者文件夹 burp抓到的包 (code是我蚁剑连接php文件的密码,就是里面设置的传参) ,另外记住要用个eval函数才能成功连接 把抓到的内容在burp的decode中进行解码 新建一个antsword_decode.php后把解码的内容进行动态调试看看具体是怎么实现的(这里要修改部分内容) 这里说一下实现原理大概就是burp抓到包后把文件路径进.

qq_44836237的博客 6707

CTF-MISC-流量分析解题思路汇总(一)

从整体的解题思路来看,该题目不是一道特别难得题目,但是其难度主要是对于初学者来将,如何把握住解题的方向是关键,很多人拿到题目之后,第一是不知道干什么,第二是不知道怎么干,根据上面的分析执行流程,以及最终解答的效果,总结出第一点是对Wireshark的使用,第二点是对编解码知识的掌握,第三点就是对敏感信息的捕获。

初学者 2677

天眼全流量系统的详细说明

奇安信天眼新一代威胁感知系统(以下简称“天眼”) 汇集流量传感器、文件威胁鉴定 器、邮件告警、奇安信天堤防火墙、网神云锁等多种告警数据,基于奇安信自有的多维度 海量互联网数据,进行自动化挖掘与云端关联分析,提前洞悉各种安全威胁,并向客户推 送定制的专属威胁情报;同时结合部署在客户本地的软、硬件设备,奇安信天眼能够对未 知威胁的恶意行为实现早期的快速发现,并可对受害目标及攻击源头进行精准定位,最终 达到对入侵途径及攻击者背景的研判与溯源;

m0_73803866的博客 1万+

BUUCTF的wireshark流量分析题目writeup汇总

1.Transfer-Encoding: chunked分块编码。筛选 URB_INTERRUPT in 的HID Data数据。2./9j是jpg文件头的base64编码。这中间一顿爆破爆不出来,还是得找流量。要密码,爆破试一下 5790。说明下载的是6666.jpg。

qq_49849300的博客 7283

AnaTraf全流量分析系统:网络世界的“千里眼”,你真的了解吗?

AnaTraf 的设计理念很贴近一线运维和安全团队的实际需求,不是“炫技”,而是真正解决日常中遇到的“网络怎么又卡了?很多企业一听“全流量”,就想到“高成本”“高存储压力”“难部署”“看不懂”等问题。确实,传统的全流量分析系统要么是大型电信级方案,要么就是纯抓包工具,不仅造价高,使用门槛也高。全流量分析系统不再是“锦上添花”的工具,而是每个企业在数字化转型中“保驾护航”的必备武器。,一旦出现问题,比如延迟突然升高、服务掉线、异常访问、数据泄露等,它可以第一时间“翻录像”,找出问题源头。

networkexpert168的博客 867

AI 编程助手新玩法:用 Claude Code 一键调用国产大模型(DeepSeek/Kimi/GLM 对比)

本文深入评测了Claude Code与三大国产大模型(DeepSeek、Kimi、智谱GLM)的集成效果,详细对比了它们在代码生成质量、响应速度和特殊场景支持度等方面的差异。通过实测数据和实战技巧,帮助开发者选择最适合的AI编程助手组合,提升开发效率。

weixin_30955617的博客 492

天线学习笔记——串馈网络设计

工程中通常更倾向于使用50Ω、70.7Ω、100Ω的固定阻抗的带宽,实际中可以分别使用固定阻抗的带宽和计算得到的带宽进行仿真,观察二者的性能,取性能更优者即可。本系列是一个记录天线设计的笔记,分享出来也希望能够帮助到大家,后续本系列文章还会不定期更新,如有需要可关注,任何问题均可在评论区或私信提出,看到必回。如果对大家有帮助可进行打赏哦~

Ethan的博客 7883

深度解析:全流量分析与IP会话回溯在IT运维中的应用

全流量分析是指对通过网络的所有数据包进行捕获、存储和分析的一种方法。与传统的采样或抽样技术不同,全流量分析能够提供最全面的网络视图,帮助工程师了解网络中发生的一切。全流量分析和IP会话回溯是现代IT运维中不可或缺的技术。通过全面的流量捕获和精确的会话回溯,网络工程师能够更好地监控网络状态,快速排除故障,优化网络性能。结合实际案例和实用技巧,这些技术将帮助您打造更加稳定、高效的网络环境。在未来,全流量分析和IP会话回溯将继续发展,成为网络安全和运维领域的重要支柱。

Johnstons的博客 1320

告别TwinCAT:手把手教你用IgH EtherCAT Master在LinuxCNC上搭建实时运动控制平台

本文详细介绍了如何利用IgH EtherCAT Master和LinuxCNC搭建开源实时运动控制平台,替代商业软件TwinCAT。通过分步指南,包括实时Linux环境配置、EtherCAT主站安装、LinuxCNC集成及多轴同步控制实现,帮助开发者构建高性能、低成本的工业自动化解决方案。

weixin_42641741的博客 403

AnaTraf解密网络:为什么需要全流量分析系统?

全流量分析系统(Full Traffic Analysis System)是现代IT基础设施中不可或缺的工具,它通过采集、存储、解析和分析网络中的所有进出流量,提供了比传统监控技术更全面的网络视图。与NetFlow、sFlow等抽样型监控技术不同,全流量分析系统确保数据不遗漏、上下文完整,并能深度识别各种协议。这种系统不仅能够实时和历史地可视化网络性能趋势,还能精确定位网络问题如丢包、延迟和拥塞,以及进行应用级事务分析。在安全方面,全流量分析系统能够追踪威胁、可视化零信任网络,并通过异常行为建模检测非正常通

networkexpert168的博客 1212

HPE磁盘阵列管理04——MSA事件

本文介绍了HPE MSA存储系统的事件处理机制,重点分析了常见磁盘故障事件及其解决方案。文章首先定义了MSA事件的五个严重级别(严重、错误、警告、信息和解决),然后详细列举了多个典型事件案例(如事件1、3、6、8、172等),包括每种事件的触发条件、对系统的影响以及具体修复步骤。针对磁盘故障场景,文章提供了更换磁盘、重建磁盘组、取消隔离等操作建议,并强调应及时配置备用磁盘以降低数据风险。最后指出更详细的事件说明可参考《MSA事件描述参考指南》,并提供了HPE官方手册下载链接。全文为技术人员处理MSA存储故障

istrangeboy&begin zero的博客 1124

Materials - UE5中的PivotPainter

可以使用3DS Max Script中的脚本(Pivot Painter)对模型进行处理,让每个Element都有自己的Pivot Point,来方便控制和制作一些特殊的顶点动画效果;

GT的虚幻引擎文档 1290

Tableau 网站流量分析案例汇总

关注微信公共号:小程在线 关注优快云博客:程志伟的博客

程志伟的博客 2826

Spring AI 项目实战(三):Spring Boot + AI + DeepSeek 打造智能客服系统(附完整源码)

摘要 本文介绍了基于Spring Boot 3.2和Spring AI 1.0.0-M4构建智能客服系统的技术方案。系统采用分层架构设计,集成DeepSeek API提供自然语言处理能力,使用MyBatis和H2数据库实现数据持久化,并通过Thymeleaf+Bootstrap构建前端界面。文章详细阐述了项目的技术栈选择、Maven依赖配置、应用架构设计,以及各模块的功能划分,为开发者提供了完整的智能客服系统实现方案,涵盖从后端服务到前端交互的全流程开发指导。

博客 3850

基于全流量技术的DDoS攻击案例

关键词:网络安全 全流量分析 DDos攻击 案例分析 运维管理 这是一个真实案例,NetInside用户网络出现异常流量,经分析是一起典型的网络安全攻击行为,现整理分享。 起因 本月26日晚9点半左右,某用户收到NetInside全流量安全分析系统发出的网络流量异常告警。 同时,该用户网络延时明显变大,通俗的说就是网络变的很卡。 回溯 登陆NetInside系统查看,发现明显的流量高峰出现。具体为流出方向流量增大,大小接近1000Mbps。 另外,在总流量时序图中,也清晰的看到流量变大的IP

545

uniapp - H5网页打包运行报错Failed to load resource: net::ERR_FILE_NOT_FOUND(uniApp打包成H5部署到服务器,打包h5白屏并报错页面空白)

Failed to load resource: net::ERR_FILE_NOT_FOUND,uniapp 坑之打包之后白屏,uniapp打包h5,HBuilderX 打包H5后空白报错 Failed to load resource: net::ERR FILE NOT_FOUND,UNI-APP H5应用白屏(空白页)解决方案,白屏并报错Failed to load resource: net::ERR_FILE_NOT_FOUND,uniapp开发,打包成H5部署到服务器,uniapp打包之后首页

🏆 前端领域优质创作者 3580

Python爬虫教程:爬取法院司法拍卖数据全流程实战(附反爬+数据分析方案)

Python爬虫爬取法院司法拍卖数据的核心是模拟真人行为规避反爬+精准解析页面数据+合理处理数据。新手不用一开始就追求高级的反爬技巧和复杂的数据分析,先把基础的分页爬取和数据保存功能跑通,再逐步优化。我做的这个工具现在每周帮朋友爬取全国10个城市的法拍房数据,自动生成分析报告,他说这让他的投资决策效率提升了一倍。如果你们在开发过程中遇到问题,比如反爬失败、数据解析错误,都可以在评论区留言,我会尽力解答。后续我还会出一期爬取京东司法拍卖数据的教程,帮助大家获取更多的法拍数据来源。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2187

全流量分析帮您发现网络异常行为

全流量分析帮您发现网络异常行为

NetInside_的博客 530

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

使用Scapy进行主机发现并用Wireshark进行流量分析

目标 使用Scapy进行信息收集(主机扫描,端口扫描,OS识别,获取Banner),并用Wireshark进行流量分析,深入理解Nmap中默认的半连接扫描,做到隐蔽式信息收集。 二层发现(ARP) 打开scapy a=sr1(ARP(pdst="192.168.1.1")) a.display() got 1 answers表示接收到应答包,主机存活。 Wireshark可以抓到本机的ARP请求数据包,和应答包。 二层发现速度快且可靠。 三层发现(ICMP) a=sr1(IP(dst="192.168

qq_45764533的博客 1165

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

CTF之流量分析

CTF杂项中存在一种题型——流量分析,主要是给你一个流量包,让你分析获取其中的flag的值。 有5种方式,可以直接查找flag。 1、直接搜索 2、使用notepad++等软件,直接打开流量包,搜索关键字 3、编写python脚本 #encoding:utf-8 #用二进制方式读取文件 file=open("networking.pcap","rb") #读取文件内容 i=file.read() #查找字段 a1=i.find("flag{") a2=i.find("}",a1) #将查

shy的博客 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

AnaTraf全流量分析设备 —— 网络防护中的“隐形护甲”

市面上有不少号称能“全面监控”的产品,但实际使用时,常常会因为采集方式、存储性能、解析深度等问题,难以胜任持续、细粒度的全流量监控。很多网络问题,表面上看是性能瓶颈,实际是“看不见”的流量异常。例如,有次某企业多部门反馈“网络慢”,常规诊断查不出异常,直到部署了全流量分析工具,才发现是某台失控设备持续向外发送小包数据,导致带宽被稀释。全流量分析的设备之所以重要,是因为它不放过任何一个数据包,能在毫秒级别捕捉流量中隐藏的变化:不合常理的DNS请求、突发的连接数、横向移动行为等都能被清晰呈现。

networkexpert168的博客 413

流量分析基础

Wireshark是一款世界范围最广、最好用的网络封包分析软件,功能强大,界面友好直观,操作起来非常方便。它的创始人是Gerald Combs,前身是Ethereal,作为开源项目经过众多开发者的完善它已经成为使用量最大的安全工具之一。在CTF中也经常会使用wireshark进行流量数据包分析,可以快速检测网络通讯数据,获取最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接与网卡进行数据报文交换。

2301_76690905的博客 5669
上一篇: 全流量回溯分析的可观测让您实时掌握全局
下一篇: Mysql应用性能监控案例分析
NetInside_
博客等级 码龄5年 69粉丝 151原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值