信息安全体系建设☞流量可视化(三)

信息安全体系建设☞流量可视化(2)sflow 在我的上一篇博文中介绍了为啥要走流量可视化,如何做流量可视化。那么本篇博文就着重来看看如何实现流量可是话。我的这个系列都是基于开源软件来实现信息安全体系建设的,本篇博文也不例外。我准备介绍一下sflow以及如何使用sflow的插件来实现流量可视化。 在具体讲述如何利用sflow进行流量可视化建设的之前,让我们先来了解一下sflow究竟是个啥东西。 sFlow是一种采样技术,可满足网络流量监控解决方案的关键要求. 1,sFlow是一种行业标准,具有广泛的网络设备和软件应用程序供应商提供的可互操作的实现。 阅读详情

眼见为真是我们在处理大多数判断的时候采取的一个有效措施,这条基本的判断方法也许存在出入, 但是通过视觉的确能增加我们处理信息的速度,提升我们决策的准确性。这一篇博文我们还是继续来探讨如何进行数据可视化, 如何把网络中的流量进行汇总分析,最终以一张美丽的页面展示在我们面前。在这里插入图片描述

在上一篇博文中, 我介绍了sflow+flowRT的组合,一个用来收集网络流量, 一个用来提供流量的展示页面。这些都是一些开源的解决方案。不要因为公司有钱,就小瞧开源化方案。我相信随着云平台的开花结果, 开源化的解决方案还是会绽放出美丽的花朵。因为云环境不大可能让你把一个硬件产品搬进云服务商的机房,唯一能做的就是在虚拟环境里面假设应用级别的安全平台。
今天我们一起来看看如何使用大名鼎鼎的ELK组件来搭建流量可视化平台,我重点介绍的是如何来玩转网络安全产品, 如何搭配使用,提供最经济的网络安全管控手段。里面涉及的配置可能不是特别的详细,我给出的是思路和玩法,融汇贯通了,可以去敲任意一家大门(博客)去学习copy配置。
我们还是采用hsflow的方式来采集主机层面的流量, 然后hsflow把流量信息甩给logstash,logstash稍作加工之后转发给E+K去做搜索和可视化的展示。
1, Hsflow的安装大家可以到官方网站上去下载适合平台使用的应用,进行安装。 也可以参考我的上一篇博客:
信息安全体系建设☞流量可视化(2)sflow
也可以访问hsflow的官网,或者各大博客:
hsflow官网
2, logstash 是一款收集,处理,发送log信息的工具。是ELK的二当家的, 里面绝大部分的配置都可以进行自定义, 所以关于hsflow里面配置collector端口的部分, 可以自定义指定端口, 可以使UDP6343, 也可以是其他吉祥数字。
a) 下载logstash,我们可以直接去ELK的官网下载, 不过就是一个慢字了得,也可以使用国内的镜像站点。重要的内容要注意,Logstash不是越新的版本越好,由于兼容性, 我开始安装了7.8的版本, 后来又换回到了6.8的版本。
ELK官网下载站点
国内镜像下载站点:
这里面不仅仅是有logstash, 还有elasticsearch 和kibana。另外两个工具, 我们也是需要的。
b)配置logstash的注意事项
1>logstash 版本不要选择太新的版本, 我选择的是6.8的,在测试中是没有问题的。
2>为了排查配置中可能存在的问题, 我把logstash收集到的流量日志存储在了logstash的本地。
3>由于logstash在运行过程中需要有相应文件的读写权限, 所以需要提前给logstash 文件加chown一下。
c) 安装配置logstash
1,安装logstash-codec-sflow。之前我看了很多博客说是我们不能直接通过logstash的plugin install 命令来安装插件, 实际上没有问题。直接运行 logstash-plugin install logstash-codec-sflow。
这个插件的功能就是能读取hsflow发过来的数据包, 如果没有这个插件, logstash也能接收到流量数据, 但是乱码,类似\u0000\u0000之类的。采用命令./logstash启动之后, 会刷一阵屏幕信息,最终制药看到successfully started logstash API,这个就说明logstash启动成功了。下面的open file是因为我处于测试目的把接收到的文件写在了本地。
在这里插入图片描述

2, 在logstash的config.d文件夹下创建配置文件,前提是要在logstash.yml里面指定config.d的路径,这样logstash启动之后会自动加载配置文件。
具体配置内容如下:
input{
  udp{
   port => 6343
   type => "sflow"
   codec => sflow{//这块还是挺关键的, 我尝试了plain codec, 但是怎么调整字符格式都不能把\u000\u000转成可读内容
   versions=>[5] 
}
}
}
output{
  file{
   path => "/opt/ELK/logstash/sflow.log"//我指定的本地文件路径, 来收集hsflow发送过来的流量数据, 大家也可以直接把流量数据转发给elasticsearch。
}
}

这里面强调的是需要安装sflow的codec,我在这里描述一下我遇到的坑:
A)因为版本问题, 我使用logstash 7.8版本, sflow codec 能安装上, 但是接受的流量数据都是乱码, 不可读。
B)我采用了logstash6.8的版本, 配置都能跑起来, 采用plain codec的方式配置charset到各种字符, 从GBK, UTF-, ISO123***, 反正就是各种不行, 各种不可读。
C) 在logstash 配置文件中配置了sflow codec,还是不行, 因为我之前在7.8版本安装过sflow codec,所以直接配置没有安装。仍然是乱码。
D)最后发现正解就是采用logstash6.8,重新安装lostash-plugin install logstash-codec-sflow.然后就开心的看到了可读的流量日志。
3, 我们一起来看看我收集到的流量日志的截图:
在这里插入图片描述
记录的内容还是比较详细的,由于hsflow不单单能记录流量信息,还能记录CPU或者其他内存之类的信息, 这个完全可以通过hsflow的配置文件进行调整。
从上面的截图里面我们能看到协议, 端口, 源目地址, 还有时间的信息, 这些可以帮助我们做流量监控和威胁筛查。

以上是对数据进行收集和日志进行规范的过程, 下面我们一起来看看可视化的效果图

下面这个图是开胃菜, 不是给安全人员看的, 是给外行看的,养眼图,因为这些信息不能直接给安全人员提供太高的分析价值,都是标准协议, 和接入网络中的设备。
在这里插入图片描述
下面这个图展示的是具体流量信息,外行看图, 内行看数。并不是说可视化没用, 而是专业的人看的角度不会是颜色,而是和自己经验的对比, 比如是不是出现了新的客户端,流量异常增高或者降低,是否存在可疑端口(服务)。如果经验还没有积累起来的话, 那就从图开始吧, 选择一个自己喜欢的色(shai),通过日积月累的来积累经验。
在这里插入图片描述
下面展示的是源和目的的效果图,我们首先关注的是打球,有没有新蹦出来的大球。 其次是关注小球和细线, 有没有新出来的。如果我们同时进行过资产风险分析,或者威胁建模, 那么我们组合来看, 就能发现一些异常的端倪。
在这里插入图片描述
不得不承认ELK的图表功能还是挺强悍的, 能做出来这么完美的图表。我觉得这个样的可视化还是挺有价值的, 能比较直观的看到流量,发现威胁。
在这里插入图片描述
关于使用ELK进行流量可视化的介绍, 我重点介绍了logstash。因为我觉得数据的收集是比较重要的, 如果收集不到, 那么后面的存储搜索, 分析和展示就无从谈起。ELK里面的EK配置和使用基本上都是相同的, 大家可以到别家的博文里面去参考参考。我这里只是抛一个砖,希望能给大家提供一个思路。

信息安全体系建设☞开源入侵检测系统HIDS 在之前的博文中介绍了NIDS, IDS就像是我们在网络的关键节点上假设的一双双水汪汪的大眼睛。IDS能帮我们深度检测流过的数据包,针对数据包中的特征来触发告警,并记录日志。同时我们也可以根据资产的重要程度,来实施的捕捉流量包,在帮助我们分析网络流量的同时, 也可以配合合规部门来检查内部人员的网络行为。在NIDS博文里面, 我重点以Snort为例子来介绍NIDS如何在网络中玩耍。我们可以在对Snort的深度理解之后,使用好这个工具。 当我们在使用NIDS的时候还会面临几个解决不了的问题,在这些NIDS鞭长莫及 阅读详情

相关推荐

生成示例 sFlow 数据

有不同的结构,例如在 Linux 上路由接口分支的流量、配置 Open vSwitch、在 KVM 上路由虚拟化环境的流量。我将提到一个运行在 Windows 和各种 Linux 系统上的 Ubuntu 22.04 的示例。对于这些配置行中写入收集器的地方,需要输入相关的IP和udpport信息,以便将其发送到哪个sflow收集器。正如我上面提到的,您应该在以 pcap 开头的行中编写 eno1 或“ip a”命令的输出作为设备名称。关注我的博客,您将在其中获得提示、技巧和挑战,以保持您的技能敏锐。

我的博客,不一样的自我表达 261

网站流量可视化分析--页面指标分析、访问量分析

页面指标分析、访问量分析 Tableau文件 一、实验目的 1、掌握不同大数据可视化图示的应用范围与场景 2、掌握大数据可视化工具Tableau在具体可视化场景中的使用 二、实验内容 1、网站流量的页面指标分析。 2、网站流量的访问量分析。 三、实验流程 1、页面指标分析 在网站流量统计分析中,网站页面浏览数一般是一个时期内的网页浏览总数以及每天平均网页浏览数,主要指标可以分为3类:网站流量指标、用户行为指标、用户浏览网站的方式。 (1)页面访问次数 访问次数是指访客完整打开网站页面进行访问的次数,访问次数

weixin_45044349的博客 6793

logstash-codec-sflow:Logstash 的 sflow 编解码器

logstash-codec-sflow Logstash 的 SFlow 编解码器。 允许通过 Logstash 输入直接解码 sflow 数据包。 使用 sflow 实现进行 sflow 解析。 可以在找到有关 SFlow 的信息 Logstash 配置 使用“sflow”编解码器设置输入端口以接收 sflow 流量。 根据您的需要设置输出插件。 input { udp { port => 6343 codec => sflow {} } } output { stdout { codec => rubydebug } } 依赖关系 em-sflow Ruby库 >= 1.0.3 地方发展 在本地克隆 repo(一些 $REPOPATH) 安装 logstash(例如用于 osx) brew install logstash 设置 jru

网络流量可视化分析平台-流影-FlowShadow

网络流量可视化分析平台-流影-FlowShadow

ordersyhack 2215

DU Meter 流量实时监控软件 波浪图可视化

DU Meter 流量实时监控软件 可以实时监控上传,下载的流量,有波浪图可视化

实战经验:Sensor Bringup中那些坑我都帮你踩过了(避坑指南)

本文是一份详尽的Sensor Bringup实战避坑指南,总结了从I2C通信、MCLK时钟、电源管理到图像异常等关键环节的常见问题与排查方法。文章提供了系统化的调试工作流,强调先硬件后软件的排查原则,旨在帮助硬件工程师快速定位并解决Sensor启动过程中的难题,提升开发效率。

weixin_29212429的博客 574

网络大数据分析 -- 使用 ElasticSearch + LogStash + Kibana 来可视化网络流量

简介 ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中,ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL 数据库;LogStash 是一个消息采集转换器,类似 Syslog,可以接收包括日志消息在内的多种数据格式,然后进行格式转换,发送给后端继续处理;Kibana 是一个 Web 前段,带有强大的数据分析、整理和可视化功能。 是不是听起来就觉得十分强大! 一般情况下,ELK 套装的工作流程为原始数据 -&g.

IT乌托邦官方博客 1761

Synopsys SCL许可证服务器搭建详解:从安装到生成.dat文件

本文详细解析了Synopsys SCL许可证服务器的完整搭建流程,从系统环境准备、SCL安装到生成.dat文件。重点阐述了如何正确获取HOST ID、配置License文件以及调试常见故障,为数字芯片设计工程师提供了一套从零到一的实战避坑指南,确保EDA工具链稳定运行。

weixin_29306011的博客 612

流影---开源网络流量可视化分析平台(一)

流影是国内第一款开源的轻量级网络安全态势感知与可视化分析平台,集成了流量探针、网络行为分析引擎、威胁检测引擎和交互式可视化分析引擎四个核心模块,本期实验将对流影进行部署与测试。

idealion的博客 1万+

SAP 货币类型和公司代码的货币设置

货币类型分为公司代码和集团货币,一般FI 10类型和集团货币 30,事务代码是8KEM; 设置货币类型的事务代码是OB22 在S/4 1809版本里编辑功能统合到事务代码FINSC_LEDGER 中了,这里集中了分类账和公司代码的设置; 设置多账簿的币种(会出现在BSEG和FAGLFLEXA表中) 汇率维护在TCURR表中,可通过BAPI_EXCHANGERATE_GETDETAIL函数获取。 CO货币的事务代码是成本控制范围货币:OKKP ,一般设置为货币码20和30; 另外, SCC4设置集团货币,

RichardYang2020的博客 1万+

OpenEuler22.04 快速部署Docker:华为云镜像源配置指南

本文详细介绍了在OpenEuler 22.04系统上快速部署Docker的完整流程。针对系统默认源版本老旧的问题,重点讲解了如何配置华为云镜像源以加速安装,并涵盖Docker引擎、Docker Compose的安装、服务启动验证、权限配置、镜像加速等核心步骤与常见问题排查,帮助用户高效搭建稳定的容器化开发环境。

http9protocoller的博客 174

信息安全体系建设☞流量可视化(一)

背景介绍 我们通常会说想要防住威胁,首先就要看到威胁。这里面的看不只是用眼睛看,更重要的是要感知到威胁的存在。无论是以图形化展示,还是根据规则生成告警,这都是感知威胁的一种有效手段。在进行流量可视化或者威胁可视化系统建设的时候,我们需要考虑一个问题是要看见所有的流量,还是把焦点放在有价值的流量,或者潜在的威胁上。如果把所有的流量都以报表形式展现在电脑屏幕上,看起来会比较美观,但是在处理具体威胁的时候,可能会适得其反。

infosec的博客 2993

大模型角色提示词写得再严密,也能被绕过?我用攻击者思维把自己吓了一跳!

很多人以为提示词是“只要写清楚了,模型就能理解”,但实际上——模型并不具备严格的规则意识,它只是在预测下一句话。所以我们必须从“攻防”角度出发,设计更强的防护机制。我这次就是亲身踩坑,用红队思维模拟攻击,才意识到原来提示词注入这么容易中招。你如果也在做 AI 应用、角色系统、提示词驱动的功能,建议你也用类似方式测试一下,不然被绕了都不知道。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1026

数字孪生Digital Twin 结合建筑信息模型 BIM 在AIoT 智慧城市建设中Web 可视化大屏实践...

智慧城市建设通过将城市中的建筑、基础设施等构建 BIM 模型,并与实时采集的数据相结合,创建数字孪生体。可以实现对城市能源消耗、交通流量、环境质量等的实时监测和预测,优化城市规划和资源分配。01数字孪生 Digital Twin数字孪生 Digital Twin是充分利用物理模型、传感器、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装...

2019

基于 YOLOv26 的遥感图像目标检测系统:从原理到模型

本文介绍了基于YOLOv26的遥感图像目标检测系统。YOLOv26凭借端到端设计、轻量化架构和小目标优化能力,有效解决了遥感图像中多尺度目标、复杂背景、小目标检测等挑战。系统采用CSPDarknet骨干网络和FPN+PAN特征融合模块,通过MuSGD优化器和改进损失函数提升训练效果。文章详细阐述了数据预处理、模型训练流程和优化技巧,包括Tile推理和混合精度训练。系统支持多种部署方式,在CPU上推理速度提升43%,能实现高精度、实时性的遥感目标检测,适用于城市规划、农业监测等场景。

一键难忘的博客 568

基于Simulink的双向DC-DC变换器在储能系统中的应用仿真

摘要:本文详细介绍了基于Simulink的双向DC-DC变换器在光伏储能系统中的仿真实现。主要内容包括:1)采用非隔离型双向Buck-Boost拓扑作为储能系统枢纽;2)针对750V直流微网中的20kWh锂电池接口场景进行建模;3)详细阐述双闭环控制器设计(电压外环+电流内环)、工作模式判断逻辑等关键步骤;4)通过仿真验证了系统在功率阶跃和模式切换下的性能。文章提供了完整的建模流程和控制方法,为储能系统接口设计提供了实用参考。

amy_mhd的博客 179

算力100问☞第28问:智算中心的软件基础设施有哪些?

智算中心的高效运作依赖于一系列关键软件组件,包括智算操作系统、算力调度平台、存储管理软件、网络管理软件、开发框架与工具、数据处理与分析软件、安全防护软件以及监控与运维管理软件。这些组件共同构成了智算中心的技术基础,确保了资源的高效管理和任务的快速执行,同时保障了数据安全和系统稳定性,为用户提供了强大的算力支持和便捷的开发环境。

bjdx_001的博客 1034

YOLOv11 改进 - 注意力机制 | Deformable-LKA 可变形大核注意力:自适应采样网格优化特征捕捉,提升不规则目标感知

本文介绍了可变形大核注意力(D-LKA Attention)及其在YOLOv11中的结合。D-LKA Attention是一种简化的注意力机制,采用大卷积核利用体积上下文信息,通过可变形卷积灵活调整采样网格,适应多样数据模式。它有2D和3D版本,3D版本在跨深度数据理解上表现出色,共同构成了D-LKA Net架构。我们将D-LKA Attention集成进YOLOv11,在模型的检测头部分引入deformable_LKA_Attention模块。实验表明,该方法在分割任务上表现优于现有方法,提升了模型的检测

魔改工程师的博客 1170

如何进行网络流量的实时可视化分析?

在进行网络流量实时可视化的过程中主要需要解决以下问题:**如何选择合适的工具与技术栈来实现流量监测与分析;如何在复杂的网络环境中获取准确的数据信息;以及如何有效地识别并处理潜在的威胁与安全事件。“实时性”是在本研究中着重强调的因素之一,这意味着要求系统能够在不影响正常业务的前提下持续不断地收集、传输和处理大量数据。---

图幻未来的博客 1022

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

有了这个网络安全面试题,面试就像开了挂!(附PDF)

还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!【完整版领取方式在文末!!​​​​内容实在太多,不一一截图了。

lvaolan的博客 2507

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

host-sflow 项目教程

host-sflow 项目教程 1. 项目介绍 host-sflow 是一个开源的网络流量监控和分析工具,旨在提供对主机和虚拟机的实时流量监控。它通过 sFlow 协议收集网络流量数据,并将其发送到集中式分析平台。host-sflow 支持多种操作系统,包括 Linux、FreeBSD、AIX、Windows 等,并且可以通过 Docker 容器进行部署。 项目的主要目标是帮助网络管理员实时监控网...

gitblog_00631的博客 903

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

国内首个开源网络流量可视化分析平台 -- 流影

流影是面向全行业用户的下一代网络行为高级分析平台,专注于分析识别各类网络安全相关行为,同时对各类网络行为留存关键证据,为企业及个人用户提供网络威胁行为识别、分析、追溯能力。

开源流影项目的博客 8234

实时直播流量统计分析及可视化系统————老子明天不加班系列

实时直播流量统计分析及可视化系统 系统介绍 本系统分为两个模块,一个是获取及处理流数据模块,一个是实时可视化模块 对于获取及处理流数据模块,本系统利用Flume监听一台虚拟机上的目录,将目录中的数据传到Kafka的某一Topic中,而后利用SparkStreaming来作为这一Topic的消费者,来实时分析数据并将分析统计结果存入到Mysql数据库中 而实时可视化模块则用Django框架固定时间间...

qazdrwsxft的博客 1987

流量采集、监控、可视化分析一体化--虹科Omnia

文章目录Omnia 是什么?Omnia 有哪些功能高级网络数据包代理(NPB)Netflow和DPI探针内联流量捕获聚合TAP流量监控分析工具什么是 ntopng典型应用联系我们 Omnia 是什么? 为了应对伴随网络增长和日益复杂性以及网络支持的技术进步带来的新风险,我们不断添加新的安全和监控设备,以检查,检测,监控,分析,警报,预防,执行,并基本上尽一切可能保持合规性和防范恶意行为。Omnia产品旨在帮助企业缓解这些问题,提供一个简单,便捷,高效,经济的网络流量采集监控和分析方案。 Omnia 有哪些

虹科网络安全的博客 1451

elasticsearch & elastiflow & logstash & Kibana 搭建开源 netflow 流量监控系统

elasticsearch & elastiflow & logstash & Kibana 搭建开源 netflow 流量监控系统 ################################################################ @官方安装文档 环境 ##### [ Ubuntu ] # lsb_release -a N...

taylorgogo 8034

Logstash codec相关插件

1、关于codec 开始时Logstash是一个input | filter | output的数据流,只支持纯文本形式输入,然后再进入过滤器处理。但是logstash从1.3.0版开始引入Codec,因此logstash的就成了input | decode | filter | encode | output的数据流。通过codec,logstash就可以和其他自定义数据格式的运维产品集成,比如...

Blue summer的博客 1039
上一篇: 信息安全体系建设☞流量可视化(2)sflow
下一篇: 信息安全体系建设☞数据安全(1)
玩安全的小强
博客等级 码龄18年 17粉丝 16原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值