loginsight跨平台日志查看工具

VMware-vRealize-Log-Insight-8.2.0.0安装部署指南 使用log-insight最新版本8.2 部署OVF模版VMware-vRealize-Log-Insight-8.2.0.0-16957702_OVF10 选择要安装的主机,部署OVF模版 选择本地文件,选择OVF版本 命名log-insight虚拟机名称 选择存放的主机 Ovf详细信息 接受所有协议 选择部署配置small 支持200个esxi主机 选择存储,选择精简置备 选择对应网络 配置初始化账号密码 主机名 ip地址 总览所有配置信息,准备上传ovf模版 开始导入ovf模版 阅读详情

看日志,是研发的日常工作,相信你已经从各种报错日志中查出许多BUG,但也被冗长、复杂的日志困扰过无数次。

在日常工作中,我也经常痛苦于看日志,一般是这些日志长得面目狰狞:

  • 日志文件太大,打开都很困难
  • 日志文件里的信息错综复杂,各个模块的时序纠缠不清
  • 日志搜集引擎导出的文件被切割成多个文件,很难联系上下文来看

不仅日志看的不顺眼,看日志的工具也不蹭手:

  • 搜索完关键词,上下跳几次,就忘记要干什么了(我是谁,我在哪,我在干嘛?)
  • 想按某个关键字过滤日志,有的工具还不支持
  • 刚刚自己分析得头头是道,一叫人过来就忘记从哪看起了

其实,这些问题,我们可以分为两类来看待。一类是工具问题,也就是工具的功能还不够完善;一类是方法问题,也就是缺少系统的方法来从日志中排查问题。

对于前者,我们需要的是专业的日志查看工具,而不是使用编辑器;对于后者,我有总结了一些方法论,倒是可以分享分享。

思路可视化

回顾看,排查日志一般步骤是:了解问题 => 定位出错位置 => 查看上下文 => 推测出错原因

而在这个过程中,如果我们把日志看做一维的线条,那么看日志就是在线条里,前前后后的跳转,搜集信息,然后总结得出结论。

而上面提到的一些问题,比如看日志忘记看到哪里了,讲解不知从而谈起等等,其实是没有把日志浏览的足迹、搜集的信息、总结的疑点、结论记录下来。

要把这些信息记录并可视化,你认为最合适的方式是什么呢?

我的方式是“时间线”。

在这里插入图片描述

像整理历史事件,分析历史事件一样,我们看到日志中有价值的地方,就做一个标记,把它放入时间线里。

起初,时间线只是一个书签栏,帮我们记录位置信息。比如出错位置在哪里,xx时间xxx在干嘛,xx在xx之前/之后等等

接着,我们开始结合日志+时间线,找到一些疑点。这个地方可疑,加个备注;这个地方的时序貌似不对,标个黄色;这个事件似乎没啥意义,先删了

上面的可疑点的梳理,基本围绕着“时间线条”这个工具在走,但,其实本质上是对你自己思路的检视,也就是,这个时候的“时间线”已经在扮演思路可视化的过程了。

最后,我们对可疑点进一步升华,发现了这份日志对应问题的根本原因。

这时候,时间线(思路的可视化),还能给你带来另一个价值——我们可以把这一份整理后的时间线发给相关人员,陈述你对日志的分析过程,是不是比直接文字表述更直观了?

主体+辅助

上面提到的“时间线”,其核心是保持思路一直延续,不被工具操作,或是其他信息干扰、打断。

思路在线,是排查日志最关键的一点。时间线是从时间维度来帮助我们做到思路在线,而“过滤窗”则可以帮助我们在“信息维度”保持思路在线。

日志排查的过程中,经常要用到的功能是:过滤含某个关键字的日志。但是仅仅过滤就行了吗?

如果只是过滤的话,会导致信息丢失。我们其实需要了解的是在整个日志范畴,这个过滤规则下的行为发生了什么,分布在哪些位置,上下文(其他模块)在干嘛,与我刚刚记录到时间线里的信息前后关系是怎样的……

也就是说,按关键字过滤出的信息除本身的信息价值外,还需要对照主体日志来提取更多信息。换言之,既是平行的,又是交错的。

那么,怎样才能合理的解决这个矛盾呢?

我把关键字过滤出的信息定义为辅助信息,放在过滤小窗,主体窗口显示完整日志,实现平行查看;同时,以“时间”为“纽带”连接“主体窗口”、“过滤小窗”、“时间线”,无论双击哪一个窗口中的事件,其他两个窗口都会立即定位到对应位置,这就实现了信息交织。

且看下图:

在这里插入图片描述

图中3大区域,左上是主体窗口,左下是过滤小窗,右边是时间线。

TAG

仍然围绕“思路在线”,时间(思路)和信息维度,我们都有工具辅助了,还有什么困扰呢?

工具!

看日志可不是一两个关键词搜索就能搞定的(能搜索一两个关键词搞定的,那只能叫做瞄一眼),而是很多。那么,最好能把搜索过的关键词记录下来,最好还能用不同的颜色标记出来。

所以,我还设计了一个TAG栏,记录当前高亮的关键词;然后在搜索栏里,加入了历史功能,可以自动补全之前输入过的单词。

其他

为了让天下没有难看的日志,定位到xx行、前进/后退、反向搜索、字体设置……等等,这些功能也不能少

既然把日志分析这件事已经摸索出了一定的经验和方法,而现有工具又没有特别蹭手的,当然是要自己写一个了!

来看看我写的loginsight吧:loginsight

ELK日志分析监控平台 日志对于分析系统、应用的状态十分重要,但一般日志的量会比较大,并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此,一些集中式的日志系统也就应用而生。目前比较有名成熟的有,Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。 阅读详情

相关推荐

Fluentbit与Log Insight集成日志管理解决方案实战

对于复杂格式,用户可编写 Lua 脚本实现精细化控制:endreturn 0, timestamp, record -- 不匹配则跳过end逐行解读:- 第 1 行:定义process函数,接收 tag、时间戳和原始 record;- 第 2 行:提取message内容;- 第 3 行:定义 Nginx 访问日志的标准正则表达式,使用捕获组命名;- 第 5 行:尝试匹配,成功则赋值给变量;- 第 7–12 行:构造新的结构化字段对象;

weixin_42124497的博客 318

loginsight,一款通用的日志分析工具

Loginsight是一款开源的通用日志分析工具,能快速打开大文件,且集成了时间线、过滤窗、正则搜索、分享等功能,有效帮助理清线索、记录思路、整理分析结果 官网 下载地址 文档与详细介绍 GitHub Gitee 时间线 时间线类似书签功能,按时间顺序排列节点,但比书签功能更丰富地。通过在主窗口里右键标记,可以将那一行新增为时间线的一个节点。 刚开始分析日志时,时间线是书签和线索,可以用不同的颜色分类不同模块或是不同线索主线,并把一些思考记录到备注里;当日志分析出眉目后,要整理出问题原因或者发生的时序,这

等死老鼠的瞎猫 9459

IntelliJ IDEA 中git使用说明书

IntelliJ IDEA 中git使用说明书

junyang2012的博客 5390

【亲测免费】 探索LogInsight:实时日志分析神器

探索LogInsight:实时日志分析神器 是一个强大的开源日志管理和分析工具,旨在帮助开发者和运维人员快速、有效地洞察应用程序的日志数据。借助其直观的界面与先进的数据分析功能,LogInsight 可以让你轻松地在海量日志中找到关键信息,提升故障排查效率。 技术解析 LogInsight 基于流行的 Elasticsearch 进行日志索引和搜索,确保了高效的数据检索能力。它还利用 Kibana...

gitblog_00073的博客 762

使用freesurfer和3Dslicer进行脑区分割和电极定点(详细版)

1、安装好matlab和freesurfer2、在目标位置创建文件夹3、开放权限4、将需要计算的nii文件放入文件夹。

zQIANYUN的博客 5631

DINOv3 网络结构解析:从 ViT 到 ConvNeXt 的双路线设计

本文深入解析了DINOv3网络结构的双路线设计,包括ViT和ConvNeXt两种主干架构。ViT路线通过轴向旋转位置编码解决了传统ViT对固定分辨率的依赖,而ConvNeXt路线则优化了卷积设计,提升了实时处理能力。文章还探讨了Gram Anchoring、混合自监督目标等关键技术,展示了DINOv3在多任务和多模态应用中的强大潜力。

weixin_29214199的博客 564

vSphere日志分析器(vCenter Log Insight)安装、配置

很久没更新博客,最近在网上看到了1.0版本的vSphere分析器可下载并可测试,测试完后发觉以前人肉全手动分析log,看得眼前飘白雪的情况不会出现了。这里和大家分享一下。1 关于vCenter Log Insight 当ESX/ESXi主机发生故障,很多用户或者管理员都不会查看相关的日志,原因其一是看不懂这些log,不知道从何入手。其二是需要花费大量时间,所以他们会选...

weixin_33730836的博客 1372

15. GD32E230定时器实战:基于TIMER5的1秒LED闪烁中断配置详解

本文详细讲解了如何在GD32E230微控制器上配置TIMER5定时器,实现精准的1秒LED闪烁中断。内容涵盖从时钟开启、参数计算、中断设置到服务函数编写的完整流程,重点解析了预分频值与周期值的配置方法,帮助开发者掌握硬件定时器的核心应用。

weixin_29092787的博客 135

【亲测免费】 探索未来:智能日志分析系统——LogInsight

探索未来:智能日志分析系统——LogInsight 项目介绍 在数字化时代,日志数据已成为企业运营和维护的重要资产。然而,海量的日志数据往往难以有效管理和分析,导致潜在问题无法及时发现和解决。为了解决这一难题,我们推出了LogInsight——一款智能日志分析系统。LogInsight 通过先进的机器学习算法和大数据处理技术,能够实时分析和挖掘日志数据中的关键信息,帮助企业快速定位问题、优化系统性...

gitblog_01099的博客 1005

直击高频编程考点:字符串知识及经典算法题总结

字符串相关基本练习题总结(最长公共子串、最长回文子串、最长无重复字符子串、最小覆盖子串、字符串相乘、中文数字表达转实际数字格式等)

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 172万+

NXOpenC#-通用NX对象操作Tag,Handle,TaggedObject介绍

NXOpenC#-通用NX对象操作Tag,Handle,TaggedObject介绍

阿飞2018 1186

华为服务器管理插件Log Insight使用教程

华为服务器管理插件Log Insight使用教程 项目介绍 华为服务器管理插件Log Insight是一个开源项目,旨在提供服务器日志的实时监控和分析功能。该项目支持多种日志格式,并提供强大的查询和可视化工具,帮助管理员快速定位和解决服务器问题。Log Insight不仅适用于华为服务器,也可以部署在其他品牌的Linux服务器上。 项目快速启动 环境准备 操作系统:Linux(推荐使用CentO...

gitblog_00638的博客 1117

179、运动控制中的行业标准:机器人安全标准ISO 10218

今天这篇笔记,就把我踩过的坑和标准里的硬骨头掰开揉碎讲清楚。

m0_50546716的博客 169

(论文速读)LogInsight:基于大语言模型的准确可解释日志故障诊断

LogInsight框架,利用大语言模型实现准确且可解释的日志故障诊断。针对现有方法缺乏解释性和大语言模型直接应用的局限性,LogInsight通过三个创新点解决问题:(1)面向故障的日志摘要模块(FOLS)压缩冗余日志;(2)构建专业指令数据集(LFDInstruction)注入领域知识;(3)采用LoRA方法对Mistral-7B模型进行高效微调。实验表明,LogInsight在三个真实数据集上的WeightedF1达到0.883-0.997,优于现有方法36.9%-7.3%。

LJ1147517021的博客 597

国科大学习资料--高级软件工程-复习题选择题答案

国科大学习资料–高级软件工程(罗铁坚 魏峻 刘丹)-复习题选择题答案 ’‘

无名何许人的博客 1166

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

windows日志分析-Log Parser等工具使用

Windows 主要有以下三类日志记录系统事件:应用程序日志、系统日志和安全日志 系统日志:%SystemRoot%\System32\Winevt\Logs\System.evtx 记录操作系统组件产生的事件,主要包括驱动程序、系统组件和应用软件的崩溃以及数据丢失错误等。 应用程序日志:%SystemRoot%\System32\Winevt\Logs\Application.evtx 包含由应用程序或系统程序记录的事件,主要记录程序运行程序方面的事件。 安全日志:%SystemRoot%\Syste

李安北的博客 1万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

批量获取windows日志_Azure 日志管理(Log Analytics)(4)-获取Windows 系统日志

*本文下述内容均以AZURE CLI 2.x为例。操作环境是Windows10. *本文实验在Azure中国区完成在前一章,我们获得了windows VM的指标信息, 这一章,我们来讲讲如何获得windows 系统日志。在同样的位置 点击点击Workspace里的"Advanced settings"点击Data->Windows Event logs,这时 输入 system ,选择加...

weixin_34959771的博客 395

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

如何将日志记录到 Windows事件日志 中

每当出现一些未捕获异常时,操作系统都会将异常信息写入到 Windows 事件日志 中,可以通过 Windows 事件查看器 查看,如下图:这篇文章将会讨论如何使用编程的方式将日志记录到 ...

dotNET跨平台 628

亚马逊云科技 WAF 部署小指南(二):使用经济实用的 Log Insights 进行日志分析

方案介绍亚马逊云科技 WAF 是一个网页应用的防火墙服务。它能帮助保护您的网页应用或网页 API 应对常见的网页攻击。在 WAF 部署小指南(一)中,我们讨论了 WAF 的原理,如何使用 WAF,以及如何将 WAF 日志存储在 Amazon S3 中,并通过 Athena 进行查询。其优势在于成本低,但相应地缺点为查询所需人力成本较高。那么如何简单快速地查看日志呢?这就...

亚马逊云科技专栏 1179

12个超大日志查看搜索工具(win)

文本:linux仓库导出的700MB大小的commit记录测试平台:win10,i7-8750,16g,固态崩溃卡死的软件:vscode。

黑色的博客 2万+

推荐 5 款强大好用的日志管理工具

与其他日志系统不同,Loki 不会对日志内容进行索引,而只会对有关日志的元数据进行索引,作为每个日志流的一组标签。日志管理是现代 IT 环境中不可或缺的一部分,它有助于监视和维护应用程序、系统和网络的正常运行,帮助诊断问题,追踪事件以及确保安全性。日志流是一组共享相同标签的日志,标签可帮助 Loki 在数据存储中查找日志流,因此拥有一组高质量的标签是高效执行查询的关键。Splunk 是一款功能完善、强大的数据和日志分析平台,涵盖机器数据收集、索引、搜索、监控、分析、可视化、告警等功能。

qq_23710315的博客 8054

vCenter Log Insight 安装部署

vCenter Log Insight 安装部署VMware公司六月出了新产品vCenter log Insight。vCenter Log Insight通过日志收集、分析和查询来提供自动化的管理。首先谢谢@Toneson ,安装过程中参考了您的步骤,同时个人测试了vCenter Log Insight的一些应用,如手工触发报警来查询日志变化,配置openfiler服务器作为日志保存的NFS路径...

weixin_33692284的博客 577

vRealize Log Insight可以变得更好

VMware在几年之前就推出了其日志分析产品vRealize Log Insight,这款产品的表现一直很好,但是和其他任何产品一样,vRealize Log Insight也存在提升空间。 对于企业IT运营来说,数据中心分析逐渐成为一种越来越重要的组成部分。现在的数据规模已经不是管理员能够手动管理和分析的了。 第一代数据分析产品将关注点集中在性能和可用...

weixin_33901843的博客 1002

【亲测免费】 强烈推荐的实时日志监控神器——LogViewer

LogViewer是一个引人瞩目的Web应用,它能够实现实时浏览器中对服务器日志进行监测。如果你曾困扰于难以阅读的日志文件,LogViewer将改变你的工作方式。 ### 项目介绍 LogViewer以其强大的用户界面脱颖而出,提供高亮显示、过滤器、搜索和折叠功能,使日志查看更加清晰和高效。该工具还支持将多个日志合并为一个视图,即使这些日志位于不同的机器上。 #### 特点概览: 1. **...

gitblog_00452的博客 1977
上一篇: qt如何实现大文件的加载和显示
下一篇: loginsight,一款通用的日志分析工具
瞎猫_compilelife
博客等级 码龄18年 14粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值