日志审计Graylog 使用教程-kafka收取消息

原创 已于 2024-08-22 19:46:58 修改
· 2.8k 阅读 · 18 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linq #c#

于 2024-08-19 20:50:40 首次发布

Graylog 是一个开源的日志管理和分析平台。它主要用于收集、存储、处理和分析大量的日志数据。Graylog 的核心功能包括：

  1. 日志收集：Graylog 可以从各种来源（如服务器、网络设备、应用程序等）收集日志数据。它支持多种输入方式，包括 Syslog、GELF、Beats、Kafka 等。
  2. 日志存储：Graylog 使用 Elasticsearch 作为其后端存储系统，因此它可以高效地存储和检索大量的日志数据。
  3. 日志处理和分析：Graylog 提供了强大的搜索和分析功能，用户可以通过查询语言对日志进行过滤、排序、聚合等操作，帮助发现问题或监控系统状态。
  4. 警报和通知：Graylog 可以根据预设条件触发警报，并通过电子邮件、Slack 等渠道发送通知。
  5. 可视化和仪表板：用户可以在 Graylog 中创建可视化的仪表板，用于实时监控和分析日志数据。

Graylog 常用于 IT 运维、安全监控、故障排查等场景，通过对日志数据的集中管理和分析，帮助企业提高系统的可观测性和问题解决能力。

一、日志收集

1.1、配置日志服务器

选择input

这里给了很多日志接收方法

试验使用kafka获取日志，

1.2、配置映射表

他作为动态数据获取，比如IP 地理位置等，根据日志某个字段的信息从XX库找到对应的数据

选择数据源

创建链接源数据实例

有很多不同格式的数据源

选择csv文件

如果我们的内容为

username ,department,email

jdoe,IT,jdoe@example.com

asmith,HR,asmith@example.com

bwhite,Finance,bwhite@example.com

johndoe,jiushi,a.com
最低0.47元/天 解锁文章
开放平台架构设计原理与实战：构建持续开放的开放平台开发流程
AI天才研究院
11-05 635
近年来，互联网经济蓬勃发展，人们越来越重视对自己信息的掌控权，希望在不受限制地分享自己的知识、经验和创造力。而早已开始普及的微信、微博、知乎等社交媒体则成为人们获取信息、沟通感情、表达观点的主要渠道。如此开放的网络空间也给平台创作者提供了巨大的想象空间。然而，当平台创作者构建自己的平台时，也面临着更复杂的技术难题——如何构建可持续、可扩展、安全的开放平台？如何让平台上的用户持续地提供新的价值？更重要的是，如何将平台上生成的数据产生价值，并且持续地推动平台运营？
1、日志易介绍
最新发布
xuebo1129927648的博客
06-01 33
日志易是由北京优特捷信息技术有限公司开发的一款日志管理工具。以下是对它的详细介绍：日志易服务超过 700 多家头部企业与机构，覆盖银行、证券、保险、基金、能源、运营商、政府等行业，如中国银行、招商银行、光大证券、中国移动、国家税务总局等。日志易的产品优势主要有以下几点：日志易的收费模式分为部署版和 SaaS 服务版两种：日志易作为一款日志管理与分析平台，其核心原理围绕日志数据的全生命周期管理展开，涵盖数据采集、处理、存储、检索、分析及可视化等关键环节。以下是其核心原理的详细解析：日志易支持从 ** 服务器、
graylog使用总结这一篇就够了
liuyij3430448的博客
10-31 2万+
graylog使用 graylog报警配置 graylog接springboot graylog使用总结 graylog邮件通知
每日一学——日志管理工具（Graylog）
weixin_61589656的博客
01-03 1749
今天我们要介绍的是Graylog——一款功能强大的日志管理工具。在Graylog中，我们可以使用过滤器（Filters）来筛选日志数据，并使用搜索（Search）功能来查找特定的日志条目。：在Graylog Web界面中，点击左侧菜单中的“Outputs”，然后点击“Create Output”。在Graylog Web界面中，点击左侧菜单中的“Outputs”，然后点击“Create Output”。在Graylog Web界面中，点击左侧菜单中的“Inputs”，然后点击“Create Input”。
Graylog6.1系统部署（Centos7.9）
chenggang1916的博客
04-18 1404
Centos7.9系统安装Graylog6.1日志分析系统
如何用 Graylog 管理日志？- 每天5分钟玩转 Docker 容器技术（93）
CloudMan6的博客
11-12 798
上一节已经部署好了 Graylog，现在学习如何用它来管理日志。
GrayLog使用
IT界的奇葩
11-19 4256
文章目录一、docer安装二、Docker Compose安装三、创建目录/usr/local/graylog四、开始安装使用公开的数据目录启动所有服务：如果yml名称为graylog.yml则使用下面命令启动重启docker-compose restart五、springboot logback集成六、配置Graylog 一、docer安装 二、Docker Compose安装 第一种方式： curl -L "https://github.com/docker/compose/releases/dow
Graylog 中文手册 常用功能和问题整理
laker的博客
07-23 1万+
文章目录设置日志保留时间不同用户分配权限 设置日志保留时间 选择编辑，策略如下图 三种策略 消息记录数 消息大小 消息时间 不同用户分配权限 1.添加用户 2.分配角色 一般分配Reader角色即可 3.用admin账户创建流和大屏面板 添加Manage Alerts，例如app_name = roadnet 分享–》选择用户或者团队–》选择权限–》点击Add Collborator–》点击Save 同理构建大屏分享给指定用户 ...
分布式日志GrayLog使用
AnswerCoder的博客
02-21 4708
文章目录[GrayLog](https://docs.graylog.org/)简介GrayLog功能分析单机部署GrayLogspring 整合graylogGrayLog常用查询语法更多操作 GrayLog简介 GrayLog是一个轻量型的分布式日志管理平台，一个开源的日志聚合、分析、审计、展示和预警工具。在功能上来说，和 ELK类似，但又比 ELK要简单轻量许多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多公司的青睐。 GrayLog包含 Elasticsearch、MongoDb 和 Gra
GrayLog日志平台的基本使用-docker容器日志接入
qq_31292011的博客
12-22 1553
服务器上存在4 个内核，我们要使用 5.12.1这个版本，可以通过 grub2-set-default 0 命令或编辑 /etc/default/grub 文件来设置。在本机测试时，docker无法访问，应该是内核版本太低的问题，我这里进行了内核升级操作。方法1、通过 grub2-set-default 0 命令设置。本机测试：curl -vk http://127.0.0.1。方法2、编辑 /etc/default/grub 文件。3.2.2、设置新的内核为grub2的默认版本。1、查看当前内核版本。
使用 Graylog 管理服务日志
热门推荐
kwkwc的博客
08-23 2万+
日志管理是一件麻烦的事情，特别是服务多的情况下出了问题需要排错、分析非常困难，一般会使用 ELK，但这篇文章将会介绍另外一个同样优秀的日志聚合平台 Graylog。
graylog2使用说明(docker)
07-24
## 什么是graylog Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合， 优点： - 部署维护简单 - 查询语法简单易懂(对比ES的语法…) - 内置简单的告警 - 可以将搜索结果导出为 json - 提供简单的聚合统计功能 - UI 比较友好 - 当然， 拓展性上比 ELK 差很多。 整套依赖： - Graylog 提供 graylog 对外接口 - Elasticsearch 日志文件的持久化存储和检索 - MongoDB 只是存储一些 Graylog 的配置 ## 安装 > 可以是裸机安装，也可以是docker安装，这里用docker安装 环境要求: - centos7.4 - cpu2个 内存2G 参考: https://hub.docker.com/r/graylog2/graylog/ ### 环境准备 ``` mkdir /root/graylog && cd /root/graylog //挂载目录 mkdir -p mongo_data graylog_journal es_data //配置文件目录 mkdir -p ./graylog/config cd ./graylog/config wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/graylog.conf wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/log4j2.xml //提前准备镜像 docker pull mongo:3 docker pull graylog/graylog:3.0 docker pull elasticsearch:5.6.9 ``` ### docker-compose.yml ``` version: '2' services: # MongoDB: https://hub.docker.com/_/mongo/ mongo: image: mongo:3 volumes: - ./mongo_data:/data/db - /etc/localtime:/etc/localtime # Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docker.html elasticsearch: image: elasticsearch:5.6.9 volumes: - ./es_data:/usr/share/elasticsearch/data - /etc/localtime:/etc/localtime environment: - http.host=0.0.0.0 - transport.host=localhost - network.host=0.0.0.0 # Disable X-Pack security: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/security-settings.html#general-security-settings - xpack.security.enabled=false - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 mem_limit: 1g # Graylog: https://hub.docker.com/r/graylog/graylog/ graylog: image: graylog/graylog:3.0 volumes: - ./graylog_journal:/usr/share/graylog/data/journal - ./graylog/config:/usr/share/graylog/data/config - /etc/localtime:/etc/localtime environment: # CHANGE ME! - GRAYLOG_PASSWORD_SECRET=somepasswordpepper # Password: admin - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 # 这里需要修改为要暴露的机器的地址 - GRAYLOG_HTTP_EXTERNAL_URI=http://10.121.60.2:9000/ links: - mongo - elasticsearch ports: # Graylog web interface and REST API - 9000:9000 # Syslog TCP - 514:514 # Syslog UDP - 514:514/udp # GELF TCP - 12201:12201 # GELF UDP - 12201:12201/udp # GELF HTTP - 12202:12202 ``` ### 启动 `docker-compose -f docker-compose.yml up -d` 通过http://10.121.60.2:9000/访问web,admin/admin ### 修改配置 - email相关(告警需要) ``` transport_email_enabled = true transport_email_hostname = smtp.163.com transport_email_port = 994 transport_email_use_auth = true transport_email_use_tls = true transport_email_use_ssl = true transport_email_auth_username = 17191093767@163.com transport_email_auth_password = zhim123456 transport_email_subject_prefix = [graylog] transport_email_from_email = 17191093767@163.com transport_email_web_interface_url = http://10.121.60.2:9000 ``` ## 使用 ### 配置添加Inputs > Graylog 节点能够接受数据的类型称之为input，常见的有GELF TCP, GELF UDP, GELF HTTP. 说明：GELF TCP, GELF UDP可以使用同一个端口，HTTP需要另起端口，原因不解释。 - 添加三个input，过程略，tcp,udp端口使用默认的12201，http端口使用12202。 - 验证 ``` // udp echo -n '{ "version": "1.1", "host": "example.org", "short_message": "A short message info with udp", "level": 1, "_some_info": "foo", "_tag": "test11" }' | nc -w10 -u 10.121.60.2 12201 // tcp echo -n -e '{ "version": "1.1", "host": "example.org", "short_message": "A short message with tcp", "level": 1, "_some_info": "foo" }'"\0" | nc -w10 10.121.60.2 12201 //http curl -X POST -H 'Content-Type: application/json' -d '{ "version": "1.1", "host": "example.org", "short_message": "A short message with http", "level": 5, "_some_info": "foo" }' 'http://10.121.60.2:12202/gelf' ``` ### docker 日志添加到graylog ``` docker run --log-driver=gelf \ --log-opt gelf-address=udp://10.121.60.2:12201 \ --log-opt tag=test1 \ -v /etc/localtime:/etc/localtime \ -it nginx /bin/bash ``` docker-compose.yaml ``` services: mongo: logging: driver: "gelf" options: gelf-address: "udp://10.121.60.2:12201" tag: mongo volumes: - /etc/localtime:/etc/localtime ``` ### java日志直接发送到graylog > 使用logback ``` 10.121.60.2 12201 <!--An example of overwriting the short message pattern--> %ex{short}%.100m <!-- Use HTML output of the full message. Yes, any layout can be used (please don't actually do this)--> %d{MM-dd HH:mm:ss.SSS} [%thread] %-5level \(%F:%L\) - %msg %n true true true true requestId:long <!--Facility is not officially supported in GELF anymore, but you can use staticFields to do the same thing--> tag business-server ``` ## 系统使用 功能菜单说明 - search 日志查询面板 ![](assets/2018-07-10-11-52-07.png) - streams 将日志对象按照filed定义为stream，默认的stream为all messages ![](assets/2018-07-10-11-52-22.png) - alerts 告警相关，选择一个stream对象定义告警条件和通知方式，当stream里面的日志满足条件时候告警并通知 ![](assets/2018-07-10-11-52-35.png) - dashboards 图形面板 ![](assets/2018-07-10-11-52-53.png) - source 告警所在主机 ![](assets/2018-07-10-11-53-37.png) - system 系统配置 ![](assets/2018-07-10-11-53-52.png) ### 查询条件 [官方说明文档](http://docs.graylog.org/en/3.0/pages/queries.html) > 关键字不分大小写 - 单个关键字查询 `ssh` - 多关键字查询,含有ssh or login `ssh login` - 含有某个字符串查询 `ssh login` - 同时含有多个关键字查询 `opening index" AND db` - 根据字段值查询 `tag:couchdb.peer0.org1.ygsoft.com` - 含有多个tag的查询，某条记录只要其中一个字段满足即可 ``` tag: (orderer.ygsoft.com couchdb.peer0.org1.ygsoft.com) or tag: orderer.ygsoft.com couchdb.peer0.org1.ygsoft.com ``` - 含有完全匹配字段 `tag:"ssh login"` - 含有某个字段的记录: `_exists_:tag` - 不含有某个字段的记录: `NOT _exists_:tag` - AND OR `"ssh login" AND source:example.org` `("ssh login" AND (source:example.org OR source:another.example.org)) OR _exists_:always_find_me` - NOT ``` "ssh login" AND NOT source:example.org NOT example.org ``` 注意： AND, OR, and NOT 只能大写. - 通配符 ? 表示单个字符 星号表示0个和多个字符 ``` source:*.org source:exam?le.org source:exam?le.* ``` 注意：默认首字母不能使用通配符，因为这样会使用大量的内存；强行开启修改配置文件`allow_leading_wildcard_searches = true` - 当某关键字不确认顺序的时候使用~ ``` ssh logni~ source:exmaple.org~ 结果可以匹配 ssh login and example.org ``` - 以下字符在使用的时候必须用反斜杠转义 ``` && || : \ / + - ! ( ) { } [ ] ^ " ~ * ? Example: resource:\/posts\/45326 ``` ### 查询条件可以保存下来 使用 save search criteria 按钮
GrayLog日志平台的基本使用-收集系统日志
qq_31292011的博客
12-20 1512
Input配置后，需要开放端口：firewall-cmd --permanent --zone=public --add-port=1514/udp;Inputs新增syslog UDP的类型，接收端口为1514 UDP 用于接收Linux服务器使用rsyslog转发过来的系统日志。以Linux主机为例 vi /etc/rsyslog.conf 最后行添加。第二步编辑Linux服务器。1、新建Indices。3、再新建Stream。
日志平台--graylog-web配置、接入微服务日志
菜鸟运维升级之路
11-11 9402
通过第三章内容，已成功搭建完成graylog,并且使用nginx实现了反向代理。因此在本章中，主要是针对graylog-web界面的熟悉、配置、微服务日志接入为目标，展开详细说明。以上就是今天要讲的内容，本文对graylog的界面操作做出了大量的讲解，并配合着graylog中的日志转换规则、清洗脚本等，对原本复杂的日志进行简单化处理，拿到自己想看到的日志字段。
Graylog2 开源日志管理平台使用教程
gitblog_00295的博客
10-10 1674
Graylog2 开源日志管理平台使用教程 graylog2-server Free and open log management 项目地址: https://gitcode.com/gh_mirrors/gr/graylog2...
GrayLog日志平台的基本使用-Windows日志接入
qq_31292011的博客
12-21 2441
需要结合filebeat类型的采集器配置，并应用到该Sidecar采集器上，比如这里采集zabbix日志。打开cmd 启动filebeat，启动命令：filebeat -e c filebeat.yml。由于这里我没有重新创建新的索引，还是使用的之前的，这里看自己的需要。将下载的包拷贝到win上双击安装，然后就是一直下一步。2、创建sidecar的API token。2）、采集器配置，跟之前的配置一样的步骤。3、创建Beats类型的Input。我这里用的7.17.13的版本。6、采集器配置文件创建。
Graylog 收集网络设备日志的详细配置指南
weixin_38924998的博客
08-02 2264
第1个 红框 title是通道名称，这里可以随意定义，我这里定义是ws第2个红框 port这里改成1514，如果默认的是514是之后启动通道会失败第3个红框 是接受缓冲区的大小，如果数据量很大的话，这里需要填写大点第4个红框 这里是工作线程，默认graylog服务会读取cpu的数量，我这里是默认是36，我改成了4。
GrayLog使用记录
u011602668的博客
12-02 1999
GrayLog使用记录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强壮的向阳花

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值