ELK实战--利用auditbeat采集系统审计日志并生成图表

Auditbeat让审计规则动态生效 【Auditbeat让审计规则动态生效】 1、修改auditbeat.yml,配置动态加载,添加如下配置: auditbeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: true reload.period: 10s 说明: path:制定动态的目录,当目录下的文件发生变化时,auditbeat会监听到变化,重新加载配置让新规则生效。 reload.enabled:配置是否启动动态加载... 阅读详情

一、背景

Auditbeat是轻量型的审计日志采集器,可以收集linux审计框架的数据、监控文件完整性。能够组合相关消息到一个事件里,生成标准的结构化数据,方便分析,而且能够与Logstash、Elasticsearch和Kibana无缝集成。

二、安装

wget https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-6.5.4-linux-x86_64.tar.gz
tar zxf auditbeat-6.5.4-linux-x86_64.tar.gz
# 或者直接安装auditbeat的rpm包文件

三、配置auditbeat

默认的配置文件是auditbeat.yml,Linux平台下,该文件位于解压目录下。
还有一个auditbeat.reference.yml文件,该文件显示了所有的选项,可以根据需求将其拷贝到auditbeat.yml文件中。
auditbeat.yml主要的两部分,一部分模块,另一部分是输出。
1、模块
目前有两种模块:
(1)auditd:auditd模块接收来自Linux审计框架的审计事件,该框架是Linux内核的一部分。这个模块建立对内核的订阅,以便在事件发生时接收它们。注意使用Auditd模块,有的系统需要先关闭auditd服务,执行” service auditd stop”。
模块相关配置项如下:

- module: auditd
  audit_rule_files: [ '${path.config}/audit.rules.d/*.conf' ]
  audit_rules: |
#-a always,exit -F arch=b64 -S execve,execveat -k exec
……

auditrulefiles:从单独的文件加载审计规则,注意默认提供了36和位64位两种,根据本地系统选择其一。
auditrules:定义审计规则。

执行./auditbeat show auditd-rules可以查看当前的规则,默认的审计规则如下,一般默认规则就可以满足审计需求,如果需要自定义可修改audit.rules.d目录下的审计规则文件。

#不记录pid为19714的所有系统调用事件,备注:自动根据auditbeat PID定义此规则
-a never,exit -S all -F pid=19714
#记录CPU为32位所有系统调用事件
-a always,exit -F arch=b32 -S all -F key=32bit-abi
#记录CPU为64位"程序执行"相关系统调用事件
-a always,exit -F arch=b64 -S execve,execveat -F key=exec
#记录CPU为64位"远程连接"相关系统调用事件
-a always,exit -F arch=b64 -S connect,accept,bind -F key=external-access
#对/etc/group、/etc/passwd、/etc/gshadow文件做审计,记录用户身份验证的变化
-w /etc/group -p wa -k identity
-w /etc/passwd -p wa -k identity
-w /etc/gshadow -p wa -k identity
#记录文件打开、修改等因没有权限或不被允许的事件
-a always,exit -F arch=b64 -S open,truncate,ftruncate,creat,openat,open_by_handle_at -F exit=-EACCES -F key=access
-a always,exit -F arch=b64 -S open,truncate,ftruncate,creat,openat,open_by_handle_at -F exit=-EPERM -F key=access

(2)file_integrity:file_integrity模块实时监控指定目录下的文件更改。注意在linux系统中,需要使用inotify,因此内核必须支持inotify,2.6.13以上内核均已安装inotify。
模块相关配置项如下:

- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /sbin
  - /usr/sbin
  - /etc

paths:指定被监控文件路径

想了解两个模块更丰富的配置项,参考官方文档:
https://www.elastic.co/guide/en/beats/auditbeat/6.5/auditbeat-modules.html

2、输出
内容可以输出到Elasticsearch、Logstash、Kafka、Redis、File、Console、Cloud,注意只能配置一种输出方式。
输出到Elasticsearch:

output.elasticsearch:
  hosts: ["ES1:9200,ES2:9200,ES3:9200"]
index: "auditbeat-%{[beat.version]}-%{+yyyy.MM.dd}"
  protocol: "https"
  username: "elastic"
  password: "changeme"

输出到Logstash

output.logstash:
  hosts: ["172.16.1.25:5044"]

输出到Kafka

output.kafka:
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  topic: '%{[fields.log_topic]}'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

hosts:指定Kafka节点。
topic:指定topic名称。
partition.roundrobin:采用轮询的方式依次写到不同的分区中。
reachable_only:设置为true表示只分发到可用的分区,会增加缓存资源使用,但是可以避免输出阻塞。
requiredacks:Kafka节点返回ACK可靠性级别,0表示不返回、1表示等待本地提交、-1表示等待所有副本同步完成。
compression:是否启用压缩传输,可以为none, snappy, lz4和gzip。
max_message_bytes:允许的json编码消息的最大值,单位是bytes。

输出到File

output.file:
  path: "/tmp/auditbeat"
  filename: auditbeat

想了解更详细的配置项及含义,请参考官方文档:
https://www.elastic.co/guide/en/beats/auditbeat/6.5/configuring-output.html

本案例是将内容输出到了Kafka

#----------------------------- Kafka output--------------------------------
output.kafka:
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  topic: 'audit_log'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

到Kafka消费的Logstash配置如下:
input部分

input {
kafka {
    type => "audit_log"
    codec => "json"
    topics => "audit_log"
    bootstrap_servers => ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  }
}

output部分

output {
  if [type] == "audit_log" {
      elasticsearch {
      hosts => ["ES1","ES2","ES3"]
      index => 'logstash-audit_log-%{+YYYY-MM-dd}'
    }
  }
}

三、运行auditbeat

在解压目录下,使用root用户执行如下命令,当然如果你是rpm方式安装的,auditbeat已添加为系统服务。
nohup ./auditbeat -e &

四、kibana图形化展示

在ES节点查看索引

#curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v'
green  open   logstash-audit_log-2019.01.17  mnkCA-QTSVS2wPkwykd_jw   3   1        468            0      2.8mb          1.5mb

kibana上创建logstash-audit_log-*索引后,在Discover有数据输出
ELK实战--利用auditbeat采集系统审计日志并生成图表

1、创建视图
创建视图,需要了解各个字段含义,可以参考官方文档:
https://www.elastic.co/guide/en/beats/auditbeat/6.5/exported-fields.html

(1) 命令审计
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
host.name 主机名称
process.name 命令名称,这里我们重点记录几个命令,所以要将Advanced中Include设置为mkfs|dd|rm|mv|wget
porcess.args 命令参数,有些命令审计中可能不会记录参数,所以勾选"Show missing values"
user.name_map.uid 执行命令的帐号名称
@timestamp 时间戳
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
process.exe 程序名称
(2)用户帐户审计
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
event.action 事件动作,我们统计帐户密码修改,所以要将Advanced中Include设置为changed-password
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
这里的event.action字段对应的Include设置为modified-user-account,会包括用的添加、删除、属性修改审计事件
(3)用户登录审计
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
event.type 事件类型,我们统计用户登录事件,所以要将Advanced中Include设置为user_login
auditd.resuld 结果,我们统计失败的登录,所以要将Advanced中Include设置为fail
auditd.data.acct 帐号名,对端尝试登录的帐号名
source.ip 源IP
(4)重要目录文件审计
ELK实战--利用auditbeat采集系统审计日志并生成图表
视图类型:Data Table
字段:
event.action 事件动作,我们统计文件的增删改,所以要将Advanced中Include设置为created|deleted|moved|updated
ELK实战--利用auditbeat采集系统审计日志并生成图表
同样,event.action对应的Include设置为created|deleted|moved|updated

最后创建仪表盘

ELK收集Oracle审计日志 一、开启审计,记录sql --Oracle审计 https://max.book118.com/html/2016/1214/72170219.shtm --开启审计 alter system set audit_sys_operations=TRUE scope=spfile; alter system set audit_trail=db,extended scope=spfile; --重启实例 shutdown immediate startup --查看审计状态 SYS@orcl>sh 阅读详情

相关推荐

kafka的消费者分区分配策略

kafka有两种分区分配策略-RoundRobin与Range。 一、RoundRobin RoundRobin策略很简单~假设我们有三个Topic10个Partition,上图! 不难看出轮询策略是将partition当做最小分配单位,将所有topic的partition都放入一个列表中。然后为消费者一人一轮的分配partition,如果数量不能平均分配将会由前几个consumer多消费一些partition。这种分配方式的优点是每个消费者消费数量最大差值为1。 二、Range Ran.

qq_43163317的博客 9695

ELK入门(十九)——Auditbeat安装、启动与可视化

一、安装包 可以到官网找到对应的安装方式:https://www.elastic.co/guide/en/beats/auditbeat/7.10/auditbeat-installation-configuration.html tar.gz直接用连接https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-7.10.1-linux-x86_64.tar.gz下载 # 解压 tar xzvf auditbeat-7.10.1-

Netceor的博客 1932

从零搭建ElasticStack日志分析平台:Nginx日志采集与可视化实战

日志管理是系统监控和业务分析的基础,其核心在于对海量、分散的日志数据进行高效收集、解析与存储。传统的手动处理方式效率低下,而现代日志分析平台通过解耦的架构设计,实现了数据采集、处理和可视化的全流程自动化。ElasticStack(ELK Stack)正是这一领域的代表性技术栈,它集成了Elasticsearch、Logstash、Kibana和Beats等组件,提供了从数据管道构建到实时搜索分析的一站式解决方案。其技术价值在于能够将非结构化的日志转化为结构化的、可查询的信息,极大地提升了运维排障、性能监控和

weixin_30905133的博客 359

Auditbeat日志审计方案

架构 整个架构分采集器和存储、查询三个部分。 【采集器】 采集器使用Auditbeat进行审计日志采集。 【存储】 采集后的日志直接输出到ElasticSearch,考虑到我们的日志较少切Auditbeat具备重传功能,因此,第一个版本先使用单节点的ElasticSearch进行试运行,实际运行过程中做好ElasticSearch的监控,遇到ElasticSearch故障时可以及时启动。 【查询】 查询使用Kibana,与ElasticSearch对接,进行日志分析和监控。 【配置管理】

yiyiatgis的专栏 2352

【 Git学习记录(三)】推荐四款主流的Git代码托管平台 —— GitHub、GitLab、Gitee、Coding

了解过Git之后,作为一个程序猿最基本的,你还需要了解目前主流的在线代码托管平台,并至少选择其中一款在平时开发中使用。这里特别介绍以下四款: 国外平台 GitHub —— 全球最流行的代码托管平台 GitLab —— 基于git的仓库管理程序 国内平台 Gitee —— 开源中国旗下的代码托管平台 Coding —— 支持社交元素的代码托管平台 一. GitHub 链接地址:https://github.com/ GitHub目前是全球最流行的代码托管平台(别称:全球最大的同性交友.

JZevin的博客 6095

生信物种注释软件Kraken2+Bracken的安装与使用

一、软件安装与数据库下载 1.Kraken2安装 Kraken2是一个基于k-mer算法的高精度宏基因组序列分类软件,能够快速的将测序reads进行物种分类。 使用conda一键安装,要先安装好anaconda或者miniconda conda install -y kraken2 输入krakek2 --help 出现如下所示帮助文档,则表示安装成功。 2.Bracken安装 bracken是一种从宏基因组数据中高度准确的计算物种丰度的统计方法。 同样使用conda一键安装 conda install -

jileiqwd的博客 1万+

ELFK日志采 - QuickStart

Filebeat是一个轻量型日志采集器,负责采集数据,并通过网路传输给 Logstash。Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到喜欢的“存储库”中。通过定义了一个 Logstash 管道(Logstash Pipeline),来读取、过滤、输出数据。

weixin_44783506的博客 1323

10分钟训练你的AI歌手:RVC WebUI声音克隆保姆级教程

本文提供了一份详细的RVC WebUI声音克隆保姆级教程,指导用户如何在10分钟内利用Retrieval-based-Voice-Conversion技术训练专属AI歌手。教程涵盖从环境配置、数据准备、模型训练到最终推理应用的全流程,即使是新手也能快速上手,实现高质量的声音克隆与歌曲生成。

weixin_29073241的博客 821

ELK架构设计

1、架构一 2、架构二 3、架构三 4、架构四 示例1: 示例二: ELKB简述 E:Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。支持对大容量的数据进行接近实时的存储、搜索和分析操作。 L:Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,过滤转换数据,然...

weixin_44699162的博客 374

手把手教你学Simulink--移动机器人多轮协同场景实例:基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真

本文介绍了基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真系统。针对移动机器人存在的电机参数不一致、负载分配不均等问题,提出主从同步+力矩补偿的协同控制策略。通过搭建包含运动学模型、PMSM电机模型和矢量控制器的仿真系统,实现了速度同步误差<0.005m/s、轨迹跟踪误差<0.8cm、能耗降低12.5%的优化效果。文章详细阐述了建模步骤、核心算法实现和性能验证,为移动机器人动力系统设计提供了实用参考方案。

MHD0815的博客 134

【数字孪生工业应用实战】第2篇:数字孪生系统架构设计与技术选型——从“作秀”到“实干”的骨架构建

本文系统剖析了数字孪生系统从“作秀”到“实干”的架构设计关键。针对多数项目在POC转生产时因架构混乱、选型盲目而失败的问题,深入阐述了四层分层架构(感知层、传输层、模型层、应用层)的设计原则,重点解析了感知层的异构适配与边缘预处理、传输层的异步解耦与多模式通信等工程细节。结合OPC UA、MQTT、EdgeX Foundry等主流技术选型对比,以及汽车焊装车间边缘智能网关的实战代码,提供了从零搭建微型孪生系统的完整指导。旨在帮助工程师建立清晰的选型决策逻辑,构建稳定、可演进的数字孪生“骨架”。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 270

ELK(Logstash+Elasticsearch+Kibana)的原理和详细搭建

一、Elastic Stack   Elastic Stack是ELK的官方称呼,网址:https://www.elastic.co/cn/products ,其作用是“构建在开源基础之上, Elastic Stack 让您能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。” 它主要包括三个元件: Beats +Logstash:采集任何格式,任...

weixin_33980459的博客 226

199、运动控制中的行业应用:微纳运动控制(压电陶瓷)

这篇文章分享了微纳运动控制中压电陶瓷应用的实战经验。作者通过半导体封装设备调试案例,揭示了压电陶瓷的非线性特性(迟滞效应和蠕变)对纳米级定位的影响,并指出微纳运动控制本质是"材料控制"而非单纯的电机控制。文章详细介绍了迟滞补偿的核心策略(PI模型)、闭环控制建议(滑模控制替代传统PID)、传感器选型要点(电容式位移传感器)以及调试中的常见问题(地线环路、机械谐振等)。最后给出实用建议:硬件选型比算法更重要,调试工具要专业,并强调微纳运动控制80%取决于对材料特性的理解。全文以工程师视角呈现,包含代码示例和血

m0_50546716的博客 46

Beats:  Elastic 中的 Auditbeat 使用介绍

Auditbeat是一种轻量级的数据收集器,您可以将其安装在服务器上,以审核系统上用户和进程的活动。 例如,您可以使用Auditbeat从Linux Audit Framework收集和集中审核事件。 您还可以使用Auditbeat来检测对关键文件(如二进制文件和配置文件)的更改,并确定潜在的安全策略冲突。Auditbeat是一种Elastic Beat。 它基于libbeat框架。 为了能够使...

Elastic 中国社区官方博客 5046

uniapp | 基于高德地图实现位置选择功能(安卓端)

在uni-app项目中实现地图位置选择功能的解决方案。由于uni.chooseLocation功能受限,采用高德地图API自主开发。系统由父组件poiMap.vue(负责展示和跳转)和子组件poiBox.vue(核心地图逻辑)构成,通过父子组件通信传递位置数据。关键技术包括:1)使用AMapLoader动态加载地图SDK;2)集成PositionPicker实现拖拽选点;3)异步加载AMapUI插件;4)通过事件监听获取位置详情(地址/经纬度)。

大胆尝试,小心实践 736

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

对比Auditbeat和Filebeat(auditd模块)采集linux审计日志(audit.log)

0 前提条件 已经安装并部署好了EFK集群,EFK集群从零开始部署详见教程。

不以物喜的博客 2284

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

针对kibana中SIEM模块的探索之Auditbeat安装

什么是SIEM? SIEM(安全信息和事件管理)是一个由不同的监视和分析组件组成的安全和审计系统。最近网络攻击的增加,加上组织要求更严格的安全法规,使SIEM成为越来越多的组织正在采用的标准安全方法。 但是SIEM实际上涉及到什么呢?它由哪些不同的部分组成?SIEM实际上如何帮助减轻攻击?本文试图提供一种SIEM 101。后续文章将深入探讨一些可用于实际实现SIEM的解决方案。 1、为什么我们需要SIEM? 毫无疑问,对计算机系统的攻击不断增加。Coinmining, DDoS, ransomware,恶意

爱国小白帽 2309

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Auditbeat排除一些日志或字段

Auditbeat index太大,可以通过去掉一些字段drop_fields以及一些event来减小空间使用量

gjjhyd的博客 568

ELK+filebeat+metricbeat+heartbeat+auditbeat安装配置及汉化_filebeat heartbeat

其次,队列在称为检查点文件的单独文件中记录有关其自身的详细信息(页面,确认等)。这些内存中队列的大小是固定的,不可配置。为了防止异常终止期间的数据丢失,Logstash具有持久队列功能,该功能将消息队列存储在磁盘上。处理队列中的事件时,只有在过滤器和输出完成后,Logstash才会在队列中确认已完成的事件。如果在事件发生时重新启动Logstash,Logstash将尝试传递存储在持久队列中的消息,直到传递成功至少一次。当队列已满时,Logstash会对输入施加压力,以阻止流入Logstash的数据。

2401_84265802的博客 770

Auditbeat检测潜在的安全风险操作

在AI推理服务中,模型文件和运行时安全常被忽视。通过Auditbeat对接Linux审计子系统,可实时监控关键文件访问与进程执行行为,及时发现非法读取、程序替换等风险,实现低开销、高精度的安全防护,尤其适用于TensorRT等高性能推理场景。

weixin_33375360的博客 767

ELK+filebeat+metricbeat+heartbeat+auditbeat安装配置及汉化

一、基础环境介绍 Centos 7.5 x64 ElasticSearch 6.5.1 Logstash 6.5.1 Kibana 6.5.1 filebeat 6.5.1 metricbeat 6.5.1 heartbeat 6.5.1 auditbeat 6.5.1 Kibana_Hanization 6.5.1 二、ElasticSearch安装 安装JDK,配置J...

江南T雨 4335

Kafka消费者组三种分区分配策略roundrobin,range,StickyAssignor

目录# 一个consumer group中有多个consumer,一个 topic有多个partition,所以必然会涉及到partition的分配问题,即确定那个partition由哪个consumer来消费。 Kafka有两种分配策略,一是roundrobin,一是range。最新还有一个StickyAssignor策略 将分区的所有权从一个消费者移到另一个消费者称为重新平衡(rebalance)。当以下事件发生时,Kafka 将会进行一次分区分配: 同一个 Consumer Group.

woaitingting1985的博客 501
上一篇: JFrog Artifactory 二进制软件制品仓库介绍
下一篇: LINUX 高可用群集之 ~Corosync~
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值