OpenSOC Streaming 项目教程

OpenSOC Streaming 项目教程

opensoc-streaming Extensible set of Storm topologies and topology attributes for streaming, enriching, indexing, and storing telemetry in Hadoop. opensoc-streaming 项目地址: https://gitcode.com/gh_mirrors/op/opensoc-streaming

1. 项目的目录结构及介绍

OpenSOC Streaming 项目的目录结构如下:

opensoc-streaming/
├── bin/
│   ├── start.sh
│   └── stop.sh
├── conf/
│   ├── config.properties
│   └── log4j.properties
├── lib/
│   ├── *.jar
├── README.md
└── src/
    ├── main/
    │   ├── java/
    │   └── resources/
    └── test/
        ├── java/
        └── resources/

目录结构介绍

  • bin/: 包含项目的启动和停止脚本。
  • conf/: 包含项目的配置文件。
  • lib/: 包含项目依赖的 JAR 文件。
  • src/: 包含项目的源代码,分为 maintest 两个部分。
  • README.md: 项目的说明文档。

2. 项目的启动文件介绍

bin/ 目录下有两个主要的启动文件:

  • start.sh: 这是项目的启动脚本,用于启动 OpenSOC Streaming 服务。
  • stop.sh: 这是项目的停止脚本,用于停止正在运行的 OpenSOC Streaming 服务。

启动文件介绍

  • start.sh: 该脚本会加载必要的配置文件并启动服务。使用方法:

    ./bin/start.sh
    
  • stop.sh: 该脚本会停止正在运行的服务。使用方法:

    ./bin/stop.sh
    

3. 项目的配置文件介绍

conf/ 目录下有两个主要的配置文件:

  • config.properties: 这是项目的主要配置文件,包含服务的各种配置参数。
  • log4j.properties: 这是日志配置文件,用于配置日志的输出格式和级别。

配置文件介绍

  • config.properties: 该文件包含服务的核心配置,如数据库连接、消息队列配置等。示例如下:

    database.url=jdbc:mysql://localhost:3306/opensoc
    database.username=root
    database.password=password
    
  • log4j.properties: 该文件用于配置日志的输出格式和级别。示例如下:

    log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
    

通过以上配置文件,可以灵活地调整 OpenSOC Streaming 项目的运行参数和日志输出。

opensoc-streaming Extensible set of Storm topologies and topology attributes for streaming, enriching, indexing, and storing telemetry in Hadoop. opensoc-streaming 项目地址: https://gitcode.com/gh_mirrors/op/opensoc-streaming

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

OpenSOC:安全大数据分析框架。OpenSOC已经加入Apache工程改名为Apache Metron。思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:OpenSOC 主要功能包括:可扩展的接收器和分析器能够监视任何Telemetry数据源是一个扩展性很强的框架,且支持各种Telemetry数据流支持对Telemetry数据流的异常检测和基于规则实时告警通过预设时间使用Hadoop存储Telemetry的数据流支持使用ElasticSearch实现自动化实时索引Telemetry数据流支持使用Hive利用SQL查询存储在Hadoop中的数据能够兼容ODBC/JDBC和继承已有的分析工具具有丰富的分析应用,且能够集成已有的分析工具支持实时的Telemetry搜索和跨Telemetry的匹配支持自动生成报告、和异常报警支持原数据包的抓取、存储、重组支持数据驱动的安全模型OpenSOC 官方文档介绍了以下五大优点:由思科全力支持,适用于内部多用户免费、开源、基于Apache协议授权基于高可扩展平台(Hadoop、Kafka、Storm)实现基于可扩展的插件式设计具有灵活的部署模式,可在企业内部部署或者云端部署具有集中化的管理流程、人员和数据当前,OpenSOC 运行条件包括:两个网卡(建议使用Napatech的NT20E2-CAP网卡)Apache Flume 1.4.0 版本及以上Apache Kafka 0.8.1 版本及以上Apache Storm 0.9 版本及以上Apache Hadoop 2.x 系列的任意版本Apache Hive 12 版本及以上(建议使用13版本)Apache Hbase 0.94 版本及以上ElasticSearch 1.1 版本及以上MySQL 5.6 版本及以上等。 标签:OpenSOC
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

计姗群

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值