flow的采集与分析---vflow项目分析和解读

最新推荐文章于 2024-11-19 12:24:49 发布
转载 最新推荐文章于 2024-11-19 12:24:49 发布 · 5.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://segmentfault.com/a/1190000013841643
文章标签：

#网络 #运维 #大数据

本文介绍了开源项目vflow，它是一个处理netflow等协议的企业级解决方案。特性包括支持PFIX、sFlow、Netflow v9等协议，可输出到Kafka、NSQ、NATS等。采用动态工作池和插件架构，易于扩展到更多协议和监控系统。硬件要求和架构设计也有详细阐述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

vflow这个开源项目，是我一开始做flow这块的最开始参考的项目。虽然到最后，我们没有使用这个项目，但是该项目是一个企业级的处理netflow等协议的项目，有许多地方值得去研究。
图片描述

特性

  • PFIX RFC7011 collector
  • sFLow v5 raw header packet collector
  • Netflow v9 collector
  • Decoding sFlow raw header L2/L3/L4
  • Produce to Apache Kafka, NSQ, NATS
  • Replicate IPFIX to 3rd party collector
  • Supports IPv4 and IPv6
  • Monitoring with InfluxDB and OpenTSDB backend

架构

图片描述

Dynamic pool

提供了work pool，而且wokrer数量是根据buff堆积消息数量动态调整的，这点之前文章介绍过实现方式。

插件架构

最低0.47元/天 解锁文章

200万优质内容无限畅学
Netflow/IPFIX 流量收集与分析
烟云的计算
03-17 5524
目录 文章目录目录Netflow 网络数据流检测协议IPFIXFlowalyzer Netflow & sFlow Tool Setgoflowcflowd Netflow 网络数据流检测协议 随着软件系统升级以及漏洞修补方案的成熟，直接入侵主机进行破坏的病毒攻击方式逐渐减少，继而转为恶意消耗有限的网络资源，造成网络阻塞，以此破坏系统对外提供服务的能力。针对此类攻击，业界提出了通过检测网络...
vflow-pouchdb:一个简单的流模块，用于通过更改提要使用 pouchdb 或 couchdb 作为写入事件流
06-24
vflow (PouchDB) vflow 是 palmetto 概念的一部分，vflow 模块是围绕 pouchDB 的更改提要的抽象，它创建了一个简单的 api 用于与写入流系统交互。 它基本上将其分解为一个事件发射器。 用法 var flow = require('vflow-pouchdb')('flowdb'); flow.on('<type>:<verb>', ...); flow.emit('<type>:<verb>', o); 安装 npm install vflow-pouchdb 该模块主要用于使用 Palmetto 架构概念的 vbridge 应用程序，利用一个写入位置以及组件和服务。
vflow:企业网络流量收集器（IPFIX、sFlow、Netflow）
07-24
高性能、可扩展且可靠的 IPFIX、sFlow 和 Netflow 收集器（纯 Golang 编写）。 特征 IPFIX RFC7011 收集器 sFlow v5 原始标头/计数器收集器 Netflow v5 收集器 Netflow v9 收集器 解码 sFlow 原始头 L2/L3/L4 生成到 Apache Kafka、NSQ、NATS 将 IPFIX 和 sFlow 复制到第 3 方收集器 支持 IPv4 和 IPv6 Prometheus 和 RESTful API 监控 文档 。 。 。 。 。 。 。 解码的 IPFIX 数据 IPFIX 数据解码为 JSON 格式，ID 为 { " AgentID " : " 192.168.21.15 " , " Header " :{ " Version " : 10 , " Length " : 420 , " Ex
flow的采集与分析---clickhouse的简介和安装
weixin_34055787的博客
03-19 991
前言 最近在参与网络flow采集和分析的项目。主要是遵循netflow和sflow协议，完成对防火墙和核心交换机的流量的采集和存储以及后续分析。flow并发量和数据量都比较大，存储是瓶颈。最开始存储到prometheus和之后测试的infulxdb的方案均宣告失败。看来prometheus还是不适合大数据量的处理，如果数据量过大，需要考虑...
vFlow：高性能网络流量采集器
gitblog_00541的博客
08-09 1万+
vFlow：高性能网络流量采集器 vflow Enterprise Network Flow Collector (IPFIX, sFlow, Netflow) 项目地址:https://gitcode.com/gh_mirrors/vf/vflow 在当今的网络环境中，高效、可靠的流量采集是网络管理和安全监控的关键。vFlow，一个由EdgeCast开发的高性能、可扩展且可靠的IPFIX、sF...
vflow：Verizon Media的企业网络流收集器（IPFIX，sFlow，Netflow）
02-03
高性能，可扩展且可靠的IPFIX，sFlow和Netflow收集器（用纯Golang编写）。 产品特点 IPFIX RFC7011收集器 sFLow v5原始标头/计数器收集器 Netflow V5收集器 Netflow v9收集器 解码sFlow原始标头L2 / L3 / L4 生产Apache Kafka，NSQ，NATS 将IPFIX和sFlow复制到第三方收集器 支持IPv4和IPv6 Prometheus和RESTful API监控 文献资料 。 。 。 。 。 。 。 解码的IPFIX数据 IPFIX数据解码为JSON格式，并且ID是 { " AgentID " : " 192.168.21.15 " , " Header " :{ " Version " : 10 , " Length " : 420 , " ExportTime " : 1483484642 , " SequenceNo " : 1434533677 , " DomainID " : 32771 }, " DataSets " :[[{ " I " : 8 , " V " : " 1
探索VFlow：一个强大的流量监控与分析系统
热门推荐
gitblog_00004的博客
04-09 2万+
探索VFlow：一个强大的流量监控与分析系统 vflow项目地址:https://gitcode.com/gh_mirrors/vfl/vflow 是由Verizon Digital开发的一款开源的网络流量监控和分析工具，旨在帮助企业及开发者实时理解并管理他们的网络流量。本文将深入解析其技术背景、功能特性以及应用场景，以期吸引更多的用户加入到VFlow的使用行列中。 技术分析 设计理念 VFlo...
探索高效网络流量监控：vFlow —— IPFIX/sFlow/Netflow 收集器
gitblog_00010的博客
05-15 1万+
探索高效网络流量监控：vFlow —— IPFIX/sFlow/Netflow 收集器 vFlow 是一个基于纯 Go 语言编写的高性能、可扩展且可靠的 IPFIX、sFlow 和 Netflow 流量数据收集器。它集成了多种特性，旨在为你的网络运维提供强大的监控工具。 项目介绍 vFlow 提供了 IPFIX、sFlow 和 Netflow 格式的流量数据采集功能，并支持解码到 JSON 格式...
VFlow_2.0:Xonro的vflow项目由Gradle构建
05-19
VFlow_2.0 xonro's vflow project build by gradle. 工程包含的模块及其说明如下： bases：基础模块，包含工程公共功能部分，其他模块均依赖该模块。主要有工具类功能、缓存管理； client：工程的客户端程序，即前台部分，这部分内容将在Nginx中部署； console：控制台模块，系统管理功能程序，存储命名以b_xr_console_为前缀，视图则以v_xr_console_为前缀； dataview：数据可视化功能模块，存储命名以b_xr_dataview_为前缀，视图则以v_xr_dataview_为前缀； wechat：微信公众平台功能模块，存储命名以b_xr_wechat_为前缀，视图则以v_xr_wechat_为前缀； workflow：工作流功能模块，存储命名以b_xr_workflow_为前缀，视图则以v_xr_workflow
vFlow 开源项目教程
gitblog_00807的博客
09-03 2318
vFlow 开源项目教程 项目介绍 vFlow 是一个高性能、可扩展的 IPFIX、sFlow 和 Netflow 收集器，由 Verizon Digital 开发。它旨在处理大规模网络流量数据，并将其转发到各种后端系统进行分析和存储。vFlow 支持多种数据格式，并且可以通过简单的配置进行部署。 项目快速启动 安装 vFlow 首先，确保你的系统已经安装了 Go 语言环境。然后，通过以下命令安装...
Go-vFlow高性能可扩展和可靠的IPFIX和sFlow收集器
08-14
vFlow：高性能，可扩展和可靠的IPFIX和sFlow收集器
Verizon Media的企业网络流收集器（IPFIX，sFlow，Netflow）-Golang开发
05-26
高性能，可扩展且可靠的IPFIX，sFlow和Netflow收集器（用纯Golang编写）。 IPFIX RFC7011收集器sFLow v5原始标头/计数器收集器Netflow v5收集器Netflow v9收集器高性能，可扩展且可靠的IPFIX，sFlow和Netflow收集器（用纯Golang编写）。 功能IPFIX RFC7011收集器sFLow v5原始头/计数器收集器Netflow v5收集器Netflow v9收集器解码sFlow原始头L2 / L3 / L4生成到Apache Kafka，NSQ，NATS将IPFIX复制到第三方收集器支持InfluxDB和OpenTSDB后端的IPv4和IPv6监视文档架构。 配置。 快速开始。 JUNOS集成。 监控。 压力 /
rfc7011.txt.pdf
09-02
rfc7011.txt
vFlow 开源项目使用教程
gitblog_00047的博客
08-09 6704
vFlow 开源项目使用教程 1. 项目的目录结构及介绍 vFlow 是一个企业级网络流量收集器，支持 IPFIX、sFlow 和 Netflow。以下是 vFlow 项目的目录结构及其介绍： vflow/ ├── bin/ │ ├── vflow │ └── vflow-mux ├── conf/ │ ├── vflow.conf │ └── vflow-mux.conf ├──...
VFlow 开源项目安装与使用指南
gitblog_01058的博客
09-03 3764
VFlow 开源项目安装与使用指南 项目概述 VFlow 是由 Verizon Digital 开发的一个开源流处理平台，旨在提供高性能、可扩展的数据处理解决方案。虽然详细的文档和具体每个版本的功能可能会有所变化，以下内容基于提供的GitHub仓库地址 https://github.com/VerizonDigital/vflow.git 进行概括性说明，帮助理解项目的基本结构、启动流程以及配置要...
vflow 项目常见问题解决方案
最新发布
gitblog_00403的博客
11-19 1147
vflow 项目常见问题解决方案 项目基础介绍 vflow 是一个高性能、可扩展且可靠的企业级网络流量收集器，支持 IPFIX、sFlow 和 Netflow 协议。该项目完全使用 Go 语言编写，旨在提供一个高效的方式来收集和处理网络流量数据。vflow 的主要功能包括： IPFIX RFC7011 收集器 sFlow v5 原始头/计数器收集器 Netflow v5 和 v9 收集器 支持 ...
IPv6网络的可操作安全考虑——RFC9099解析（四）
weixin_44595246的博客
07-30 994
RFC9099解析---记录和监控
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值