基于Hadoop海量日志的入侵检测技术

基于Hadoop海量日志的入侵检测技术

• Hadoop相关技术
• Web日志
• 基于 Hadoop海量日志的入侵检测算法
• 基于 Hadoop量日志的入侵检测系统的实现

Hadoop简介

Hadoop是一个项目的总称，是开源实现的谷歌的集群系统。由于在 Hadoop中实现了HDFS文件系统和 MapReduce编程模型，使得它成为了一个分布式的计算平台。当用户想要运行一个分布式程序时，只需要编写一个类继承自MapReduceBase，同时再实现Map和 Reduce，然后对Job进行注册就可以了。
Hadoop首先是一个分布式的文件系统，能够实现存储的功能，但它的作用不限于此，它同时也是一个能够执行分布式程序的大型框架，它的执行环境一般是由数目众多的计算设备组成的大规模集群。

HDFS文件系统

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是 Hadoop主要应用的一个分布式文件系统。在HDFS架构中有 NameNode和 DataNode两种节点。这两类节点分别承担 Master和 Worker的任务。

MapReduce并行计算框架

Mahout简介

Mahout是 Hadoop中的一个开源项目，Mahout中构建了一个大规模的机器学习库，是实现并行化的数据挖掘算法的分布式计算框架。Mahout中实现的算法都是构建在 Hadoop之上基于 MapReduce的并行实现，可以帮助开发人员更加方便快捷地创建智能应用建