metron使用心得

最新推荐文章于 2025-11-23 23:28:50 发布
原创 最新推荐文章于 2025-11-23 23:28:50 发布 · 540 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #zookeeper

本文介绍使用Metron框架实现数据富化的过程，包括Logstash接收与解析日志、Storm拓扑分配与富化数据、Elasticsearch存储富化后的数据，以及SpringBoot与SpringCloud构建后端服务。

文章目录

metron框架实现数据富化

logstash接收日志

logstash检测探针上报日志将对应端口接收的日志上报到指定的kafkaTopic

日志上报后初步解析过滤

当日志接收完成后将日后启动storm拓扑spout接收数据进行解析返回jsonArray

统一分配解析

将日志解析完成后同意下发到下一层拓扑同时将jsonArray拆开分配到指定的方法中 根据source_type来决定 然后发送到enrichments topic当中

启动富化拓扑

  • 接收相应json数据然后启动steal函数将数据进行富化
  • 这个其中可以连接其它模块比如hbase redis将数据持久话到其它数据库,同时也可以接收其它数据库的数据进行数据的进一步富化

ElasticsearchWriter

富化的数据默认写入到es当中

后端

后端springboot+springcloud

通过phoenix+es读入数据展示

C#中DataGridView控件使用大全及C#学习心得
拾光博客
03-27 6645
DataGridView动态添加新行： DataGridView控件在实际应用中非常实用，特别需要表格显示数据时。可以静态绑定数据源，这样就自动为DataGridView控件添加相应的行。假如需要动态为DataGridView控件添加新行，方法有很多种，下面简单介绍如何为DataGridView控件动态添加新行的两种方法： 方法一： int index...
Metro开发中ImageSource使用之我得
jancuny的专栏
11-21 1013
我遇到的需求是程序运行中Image显示的图片要更换，找到后面这篇文章以后，我本来是直接把对应的C#代码简单改编，结果没通过，差点就被另一同事给抢走了，说他来解决，要改用数据模型绑定，那是肯定可以实现的，因为已经在用了。但是我不死心，隐约感觉到好像是协议使用的不正确，图片路径没找到，于是我就把已经实现的图像控件与数据模型绑定的代码找出来，看了一下，对照我的代码，经过几遍尝试吧，最后代码成了这样：
metron学习1
小恶魔的博客
07-29 3512
  今天小编在学习了metron之后来向大家分享一下我学到的东西： 一、metron是什么：   metron是一种安全大数据分析架构，其建立了一个平台，它为组织提供了大规模摄入、处理和存储各种安全数据提要的能力，以便检测网络异常并使组织能够快速响应这些异常。 二、metron分为这样几个部分 抓取数据---解析---富集---分类---打标签---警告，保存---UI设计 详见如图： ...
Metron架构
kerwin_tang97的博客
06-04 801
文章目录Metron 组件Metron 模块领域特定语言逻辑架构步骤 1 - 遥测事件缓冲区（Telemetry Event Buffer）步骤 2 - 处理（解析，规范化，验证和标记）（Process (Parse, Normalize, Validate and Tag)）步骤 3 - 富集（Enrich）步骤 4 - 标记（Label）步骤 5 - 警报和持久化（Alert and Persist）步骤 6 - UI门户以及数据和集成服务（UI Portal and Data & Integr
安装Metron
u011220960的博客
08-14 4447
1.Metron简介 Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，最早由Cisco公司的开源大数据系统安全框架项目OpenSOC迁移为Metron项目，现已晋升为Apache顶级项目。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。从概念上可划分为四个组件：数据捕获与摄取、实时数据处理...
metron简介
qq_17762247的博客
07-13 1296
一、简介： Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，前身为Cisco公司的开源大数据系统安全框架项目OpenSOC。Metron提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。 二、逻辑组件： 三、逻辑架构： Telemetry Event Buffer：遥感事件接收缓存，将传
metron学习2
小恶魔的博客
07-31 522
查询筛选工具 此工具公开了两种通过命令行工具过滤PCAP数据的方法： 固定过滤器 恒星查询语言 该工具通过执行 ${metron_home}/bin/pcap_query.sh [fixed|query] 用法 usage: Fixed filter options  -bop,--base_output_path <arg>   Query result output p...
windows-8-无法使用内置管理员账户打开Metro程序的解决方法(1).docx
06-25
在使用Windows 8操作系统的过程中，可能会遇到内置管理员账户无法打开Metro程序的问题。这种情况下，通常会出现提示：“Windows无法使用内置管理员账户打开 Metro 程序”。为了解决这个问题，可以通过启用组策略编辑...
Android 仿Win8的metro的UI界面
05-01
本篇文章将深入探讨如何在Android中实现这种仿Win8 Metro UI界面，并分享自定义控件的学习心得。 首先，理解Metro UI的设计理念是至关重要的。它强调内容为王，注重清晰的视觉层次和无干扰的用户体验。在Android中...
Metro_Jiu-Jitsu-crx插件
04-02
这个插件的主要目的是让使用者能够方便地获取到与武术训练相关的资源和资讯，特别是那些与"The Metro Drive"系列视频有关的内容。 【描述】 描述中提到，此插件支持英文语言，这意味着全球范围内的用户，尤其是英语...
Apache Metron从入门到落灰
MaFei的博客
08-06 1299
p>之前在安全方面有大数据处理方面需求，所以调研了几款处理引擎框架，就看到Apache Metron了，结果发现网上没几个文章写这个的。。。。 其中涉及到的组件会比较多，有部署软件用的Ambari(也可以用cdh)、zookeeper、Storm、HADOOP、KAFKA和数据处理的Nifi 先贴一些看下来总结的流程 Metron数据处理流程 1.Metron介绍 Metron是一...
Apache Metron 教程
gitblog_00247的博客
08-07 382
Apache Metron 是一个用于实时大数据安全智能平台，由 Apache Software Foundation 维护。它整合了各种开源技术，如 Hadoop、Spark 和 Storm，来实现高级分析和安全事件的实时检测。Metron 提供了一个统一的框架，可以快速收集、解析、存储和查询数据，以提升安全运营的效率。 ## 2. 项目快速启动 ### 安装依赖 在开始之前，请确保你的系...
Metron学习9_Apache Metron学习记录
wang_zhenwei的博客
01-05 5754
Metron学习记录 1 关于Metron 1.1 Apache Metron的演变 提起Apache Metron，我们必须提到OpenSoc，它的发展历程如下。 1.2 Metron的核心功能和功能主题 核心功能能力： 安全数据库，可插入框架，安全应用程序，威胁只能平台； 核心功能主题： 平台，数据收集，数据处理，UI； 1.3 Metron用户角色及受益点 适合6类用户角
Metron学习8_使用Metron安装Elasticsearch后，启动时No interface named 'eth1' found报错
wang_zhenwei的博客
12-15 1656
在前文中，已经解决了Metron安装过程中的报错：No interface named 'eth0' found, got [name:lo (lo), name:em1 (em1)]； 但是在两个slave机上启动Elasticsearch时，还是遇到了问题，描述如下： [root@slave1 elasticsearch]# service elasticsearch start Star
Metron学习10_Deploying a fresh Metron cluster via Ambari Management pack
wang_zhenwei的博客
01-06 1825
Short Description: This article describes the steps to deploy a fresh HCS/Metron cluster using Ambari Server installed with management packs for Metron. Article Note: This article is an ex
Metron学习7_Metron安装过后，一些被安装工具的位置
wang_zhenwei的博客
12-12 1379
说明： 首先，在/home/szx目录下安装Metron； 在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-platform/ 下，可以看到Metron安装的相关工具及组件； 在目录：/home/szx/incubator-metron-Metron_0.2.0BETA_rc2/metron-deployment/
Metron基础概念
huaxia2002的博客
08-25 348
Metron基础概念 相关名词对应概念 架构图 mass服务架构（暂时理解不了） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aEuIeZKv-1629875080431)(https://metron.apache.org/current-book/images/maas_arch.png)] 调整使用Model的Squid的设置 该项配置以json格式存储在$METRON_HOME/config/zookeeper/enrichments/squid.json中，enr
轻量级日志监控与告警系统（二，上）：为 Kafka 消费者注入 CI/CD 能力，实现秒级部署闭环
m0_74234518的博客
11-23 760
摘要： 本文基于轻量级日志监控系统的初版架构，通过Git Hooks实现Kafka消费者程序的轻量级CI/CD能力，解决手动部署效率低下的痛点。采用裸仓库+post-receive钩子的方案，实现git push触发自动代码同步与服务重启，避免了Jenkins等工具的复杂部署。该改进使系统具备秒级迭代能力，为后续引入Celery、Prometheus等组件奠定自动化基础，体现"代码即配置"的DevOps理念。全文包含架构对比、实现细节及演进规划，展示如何用最小成本构建可自维护的日志处理系
Go语言Kafka+Redis高吞吐日志处理系统设计与实战分享：武汉互联网广告实时分析平台经验
最新发布
2501_94187056的博客
11-23 835
本文介绍了基于Go+Kafka+Redis构建的高吞吐互联网广告日志处理系统。针对武汉广告平台每日百万级日志、秒级分析需求，系统采用异步采集、分布式处理架构，实现单节点50,000条/秒、集群200万条/秒的吞吐量，延迟P99<60ms。通过Kafka削峰、Go协程并发、Redis缓存优化和批量写入等技术，解决了高并发、低延迟的日志处理难题，为广告实时统计和优化提供了可靠支撑。
jQuery Metro Tooltip特效插件使用教程
资源摘要信息:"jQuery Metro Tooltip插件特效代码" 知识点: 1. jQuery介绍： jQuery是一个快速、小巧、功能丰富的JavaScript库。它通过一个简单的API封装了JavaScript的复杂操作，使得HTML文档遍历和操作、事件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值