AccessLog| 一款开源的日志分析系统

原创 已于 2024-07-26 16:14:37 修改 · 1.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开源 #开源软件 #数据分析 #数据库

于 2024-07-26 13:52:53 首次发布
该文章已生成可运行项目，
前言
ClkLog作为分析系列产品中的前端数据分析系统，通过采集前端应用数据进行用户行为分析。其社区版从23年9月发布至今已有近一年，商业版也上线快半年，感谢大家一直以来的关注和支持，ClkLog会继续做好产品升级与服务，让更多的小伙伴能够顺利且满意地使用ClkLog。在迭代ClkLog的同时，我们研发的后端数据（Web日志） 分析系统- “AccessLog”今天也正式与大家见面，一起随我来了解下吧。

AccessLog的定位

AccessLog是一款轻量级Web日志分析的开源软件，技术栈选型与ClkLog相同，采用Java语言开发，后端通过OLAP类型数据库ClickHouse/ByConity确保数据的全面性和实时性。

AccessLog包含了多种基础统计，例如访问量、IP数、流出流量、状态码分析等，可以帮助运维快速监测日志情况，同时还提供了性能分析，通过对页面访问次数与相应耗时的统计分析，可以进行性能问题的诊断与定位，进而优化性能、改善用户体验。

因为AccessLog与ClkLog采用了相同的技术栈，所以如果您已经在使用ClkLog了，那么集成AccessLog就会更加快捷了。欢迎大家来体验反馈。

产品核心

AccessLog的核心是日志采集、处理、可视化分析。

采集与清洗系统日志，主要通过采集工具（推荐：vector或filebeat）对服务器（如nginx、iis）日志进行采集。

处理系统日志，经过相关服务对采集数据进行处理。

分析系统日志，通过在可视化的日志查询分析界面对服务器日志进行查询分析。

产品亮点

  • 全开源产品、私有化部署更便捷
  • 多模式部署、随业务变化更兼容
  • 多维度分析、数字化运维更高效

技术栈

  • 开发语言：Java
  • 后端：Redis 、Kafka 、Flink
  • 前端：vue、vue-element-admin、element-ui 、echarts
  • 数据库：Clickhouse/ByConity

系统架构

  • 标准模式

  • 快速模式

项目组成

  • 处理服务 【accesslog-processing-sample】： 直接将数据写入clickhouse。
  • 处理服务 【accesslog-processing】： 依托flink，消费kafka数据并存入clickhouse。
  • 统计接口 【accesslog-api】： 提供多维度数据统计接口。
  • 统计展示 【accesslog-ui】：基于 vue-element-admin 实现的统计分析数据界面展示。

功能界面展示

开始使用

欢迎您加入AccessLog社区交流群

扫码添加小秘书备注AccessLog

本文章已经生成可运行项目
开源实时日志分析平台-ELK
m0_64632306的博客
06-15 1049
开源实时日志分析平台-ELK
开源日志分析平台ELK实战应用
m0_57021623的博客
06-02 1481
ELK 是一个开源的日志管理平台，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。这个平台广泛用于实时日志处理和分析。下面简单介绍一下每个组件的作用以及如何搭建一个基本的 ELK 栈。
开源日志审计系统
anzhuangguai的专栏
05-13 4093
1 GitHub - clickvisual/clickvisual: A light weight log visual analytic platform for clickhouse. 2 面向docker开发，基于clickhouse开发的日志查询工具 3
pgAudit 开源项目教程
最新发布
gitblog_00516的博客
11-15 536
pgAudit 是一个开源的 PostgreSQL 审计扩展，旨在通过标准 PostgreSQL 日志记录设施提供详细的会话和/或对象审计日志。pgAudit 的目标是为 PostgreSQL 用户提供生成审计日志的能力，这些日志通常是满足政府、金融或 ISO 认证要求所必需的。 审计是对个人或组织账户的官方检查，通常由独立机构进行。pgAudit 收集的信息通常称为审计跟踪或审计日志。在本文档
再见 ELK，是时候拥抱下一代日志系统 Loki 了
easylife206的专栏
07-27 2127
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！最近，在对公司容器云的日志方案进行设计的时候，发现主流的 ELK 或者 EFK 比较重，再加上现阶段对于...
Awstats access_log Exporter-开源
05-27
标题 "Awstats access_log Exporter-开源" 涉及的主要知识点是 Awstats 和 Apache 访问日志的处理，以及开源软件的应用。Awstats 是一个流行的网站统计分析工具，它可以分析服务器的访问日志，生成详细的访问报告，...
web-log-parser:开源分析Web日志工具
05-04
web-log-parser是一种开源分析Web日志工具，以python语言开发，具有灵活的日志格式配置 例子 指示 将日志文件存储在数据目录./data 修改config.ini 安装要求pip install -r requirements.txt 在bin dir cd ./bin ...
日志文件10000_access.log
04-16
"日志文件10000_access.log" 标题表明这是一个访问日志文件，通常与Web服务器有关，记录了用户对服务器的访问详情。"描述"提到提取了其中的10000条数据，这可能是因为原始日志文件过于庞大，为了便于分析，进行了...
accessLog.rar
05-26
本篇将围绕“accessLog.rar”这个压缩包文件，探讨如何使用Spark进行日志分析，并深入解析其中的"log.log"文件。 一、Spark基础与日志分析概述 Spark是由Apache基金会开发的一个开源大数据处理框架，其核心理念是...
Nginx日志分析工具2.1.0.zip
06-11
Nginx日志分析工具2.1.0是一款专为Windows平台设计的软件，用于高效地解析、统计和分析Nginx服务器产生的日志文件。Nginx作为一款高性能的Web服务器和反向代理服务器，广泛应用于各类网站和应用程序中。在日常运维...
开源日志管理系统
03-29
logstash，开源日志管理系统。可以替代splunk。
access_log日志分析
01-16
apache的默认日志文件分析，用于IP统计访问量，查看某一时间段的ip连接数
开源服务器日志审计系统,开源日志管理系统
weixin_36322275的博客
08-12 4969
开源日志管理系统 内容精选换一换在Log窗口的System Log页签里，您可以查看系统运行日志，操作步骤如下：MindStudio不支持通过界面方式删除设备上的system log日志。如需对日志进行管理，请使用root用户登录到设备侧，对/var/log/npu/slog目录下日志进行管理操作。进行系统日志查看前，需要已添加Device设备，才能获取到Device设已成功登录Java性能分析。...
开源可视化日志分析软件－Gource
weixin_33875564的博客
07-21 415
Gource可以将代码版本控制系统里面的日志全部可视化，也就是说可以看见每个成员在系统里面提交代码的行为，Gource目前支持git、hg、svn。静态的图片看着不过瘾，下面我将录频的效果(gource+gltail)给大家分享：http://www.tudou.com/programs/view/a4j3THmc8zA实现方法将会在《Unix/Linux网络日志分析与流量监控》一书的 1.15节...
使用开源工具ELK可视化 Azure NSG日志
weixin_30832983的博客
01-06 252
国内的Azure最近上线了网络观察程序服务，可以帮助用户监控和分析VNET虚拟网络。其中一个很重要的功能就是可以记录NSG的安全访问日志了。但是如果用户设置了NSG流日志，并下载日志想要分析一下的话，会发现日志其实并不是很友好，NSG流日志是以json格式记录的，可以看到的内容大致如下图所示：日志会记录NSG规则名，系统时间，源地址，目的地址，源端口，目的端口，协议类型，流量方向和处理规则。...
python日志审计系统_综合日志审计系统
weixin_30658759的博客
12-24 1678
原标题：综合日志审计系统产品简介中安威士综合日志审计系统(简称VS-LS)，该系统 能够通过主被动结合的手段，实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息，网络流量的信息，并将这些信息汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体安全运行态势，实现全生命周期的审计管理。产品介绍体系...
开源日志审计系统_一文掌握mysql数据库审计特点、实现方案及审计插件部署教程...
weixin_39588911的博客
12-05 1263
概述数据库审计(简称DBAudit)能够实时记录网络上的数据库活动，对数据库操作进行细粒度审计的合规性管理，对数据库遭受到的风险行为进行告警，对攻击行为进行阻断。它通过对用户访问数据库行为的记录、分析和汇报，用来帮助用户事后生成合规报告、事故追根溯源，同时加强内外部数据库网络行为记录，提高数据资产安全。数据库审计是数据库安全技术之一，数据库安全技术主要包括：数据库漏扫、数据库加密、数据库防火墙、数...
【亲测免费】 推荐开源项目：Apache Log4j Audit——强大的审计日志框架
gitblog_00051的博客
08-06 1840
推荐开源项目：Apache Log4j Audit——强大的审计日志框架 1、项目介绍 Apache Log4j Audit 是一个面向企业的日志审计框架，它使用Log4j进行事件记录，旨在提供一致性和有效性的审计日志管理。这个框架让业务分析师或产品管理者能够定义审计事件及其属性，确保各应用之间的事件名称和含义保持一致。通过JSON格式存储在Git仓库中，Log4j Audit Maven Plu...
AccessLog| 一款开源的日志分析系统 如何部署
06-06
### 部署开源日志分析系统 AccessLog 的指南 AccessLog 是一种基于 Nginx 和 ELK（Elasticsearch, Logstash, Kibana）的日志分析系统，主要用于收集、存储、分析和可视化 Web 服务器的访问日志。以下是部署该系统的详细步骤。 #### 1. 安装 ELK Stack ELK Stack 是 AccessLog 系统的核心组件，负责日志的存储、处理和可视化。 - **Elasticsearch**: 负责存储和检索日志数据[^1]。 - **Logstash**: 用于收集、处理和转发日志[^1]。 - **Kibana**: 提供日志数据的可视化界面。 安装 Elasticsearch: ```bash sudo apt update sudo apt install elasticsearch sudo systemctl start elasticsearch sudo systemctl enable elasticsearch ``` 安装 Logstash: ```bash sudo apt install logstash sudo systemctl start logstash sudo systemctl enable logstash ``` 安装 Kibana: ```bash sudo apt install kibana sudo systemctl start kibana sudo systemctl enable kibana ``` #### 2. 配置 Logstash 收集日志 创建一个新的 Logstash 配置文件 `nginx-logstash.conf`，并添加以下内容以解析 Nginx 日志[^2]: ```bash sudo nano /etc/logstash/conf.d/nginx-logstash.conf ``` 配置内容如下: ```plaintext input { beats { port => 5044 } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] } } output { elasticsearch { hosts => ["localhost:9200"] index => "nginx-access-%{+YYYY.MM.dd}" } } ``` 启动 Logstash: ```bash sudo systemctl start logstash sudo systemctl enable logstash ``` #### 3. 配置 Nginx 输出 JSON 格式的日志 为了更好地与 Logstash 集成，需要将 Nginx 的访问日志格式化为 JSON 格式[^3]。 编辑 Nginx 配置文件: ```bash sudo nano /etc/nginx/nginx.conf ``` 在 `http` 块中定义 JSON 格式的日志输出: ```plaintext log_format access_json '{"@timestamp":"$time_iso8601",' '"host":"$server_name",' '"clientip":"$remote_addr",' '"size":$body_bytes_sent,' '"responsetime":$request_time,' '"upstreamtime":"$upstream_response_time",' '"status":"$status",' '"method":"$request_method",' '"url":"$uri",' '"httpversion":"$server_protocol",' '"useragent":"$http_user_agent",' '"referer":"$http_referer"}'; ``` 指定 `access_log` 输出为我们自定义的 JSON 格式: ```plaintext access_log /var/log/nginx/access_json.log access_json; ``` 重启 Nginx 服务以应用更改: ```bash sudo systemctl restart nginx ``` #### 4. 配置 Filebeat 将日志发送到 Logstash Filebeat 是一个轻量级的日志传输工具，负责将 Nginx 日志发送到 Logstash[^2]。 安装 Filebeat: ```bash sudo apt install filebeat ``` 编辑 Filebeat 配置文件: ```bash sudo nano /etc/filebeat/filebeat.yml ``` 配置内容如下: ```yaml filebeat.inputs: - type: log paths: - /var/log/nginx/access_json.log output.logstash: hosts: ["localhost:5044"] ``` 启动 Filebeat: ```bash sudo systemctl start filebeat sudo systemctl enable filebeat ``` #### 5. 配置 Kibana 可视化日志数据 打开浏览器访问 Kibana，默认地址为 `http://<your-server-ip>:5601`。登录后，按照以下步骤配置: - 在 **Management** > **Index Patterns** 中创建一个新的索引模式，例如 `nginx-access-*`。 - 选择时间字段 `@timestamp`。 - 进入 **Discover** 页面查看日志数据。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值