Elastic：什么是日志分析？

日志分析定义

日志分析是搜索、调查和可视化由 IT 系统生成并以时间顺序存储的日志数据的过程。日志分析比日志监控更进一步，使可观测性团队能够发现整个组织中的模式和异常。这有助于他们快速解决应用和系统问题，并提供运营洞察，以提前应对未来的问题。日志分析还可以应用于存档日志中的历史数据，以获取更多洞察。

为什么日志分析很重要？

日志数据正在呈指数级增长。在人工生成和机器生成的数据之间，日志工具需要扩展以管理数据的涌入。传统分析工具在面对当今复杂系统中的日志数据多样性和体量时会遇到困难。没有一个集中且强大的日志平台，挑战（以及成本）会增加。因为数据是理解你的业务流程当前运行状况的关键，并且可以帮助你规划未来。

日志分析的历史是什么？

自从计算机生成记录出现以来，组织就一直在尝试大规模审查日志。但日志是在整个 IT 生态系统中生成的。很多日志不包含所需的全部信息，并且通常不采用一致的格式。在现代工具中，日志分析的过程集中这些信息并对其进行转换，以便更容易使用。

日志分析的发展方向在哪里？

由于日志数据持续增长，考虑未来如何存储和访问这些信息至关重要。能够处理大数据量使得日志更容易被用于其他目的，比如安全、欺诈、异常检测等。日志分析的使用场景不断扩展，例如分析客户如何浏览网站、人们在使用应用时在哪些地方感到沮丧等。

如何进行日志分析

进行日志分析归结为几个关键步骤。

收集和集中数据

首先，将所有日志集中在一个位置。把所有东西放在一起会让分析更容易。一旦所有日志集中，就需要对它们进行解析和索引。日志从不同系统收集数据，这也意味着可能存在命名规则、格式、模式等方面的差异。在一开始就标准化术语，可以节省日志分析过程中可能出现的数小时混乱（或错误）。了解更多关于日志聚合的信息。

分析数据

现在是搜索和分析（运行查询）以进行模式识别的时候了。根据所用软件的不同，这一步可能会涉及可视化工具。报告仪表板可以帮助为非技术用户和组织外的人聚合数据。此外，通过查看图表比详细日志更容易看到趋势和异常。

设置监控和告警

在你尝试解决问题时，日志分析至关重要。但组织能够获得最大投资回报的地方是建立实时监控和告警。例如，关联分析会找到来自不同来源但都追溯到一个单一特定事件的消息。然后你的系统可以根据日志中识别出的模式来确定哪些事件需要告警。当条件发生变化时，团队可以实时收到通知。这通过提供关于发生了什么、在哪里、什么时候、为什么以及如何影响性能的即时信息，加快了恢复时间。

获取日志管理的最佳实践

谁在使用日志分析？

SRE、IT 运维、DevOps 工程师和 IT 企业架构师是日志分析工具的主要用户。一些组织还必须为合规审计查看日志，这会扩大用户和相关方的范围。

日志分析 vs. APM

日志分析和应用性能监控 (APM) 密切相关。日志分析解释整个组织的数据以解决问题并做出业务决策，而 APM 更详细地监控单个应用程序及其行为。目标是确保良好的客户体验和交易顺利。

APM 跟踪性能指标 —— 例如响应时间、延迟和错误 —— 以帮助定位可能影响用户的问题。一旦 APM 检测到异常或问题，相关日志（和指标）就会被关联并展示，用于进一步排查和根因分析。通过监控用户，组织可以了解信息是如何被访问的，并进行改进以降低客户流失率。

日志分析的好处是什么？

日志中可以找到许多运营问题的答案。团队可以利用日志来：

• 改善客户体验（并减少流失）：审查用户如何使用应用程序，以便做出更好的决策，保持他们的参与并让导航更容易。

• 降低资源使用和延迟：识别组织中资源未优化的地方并解决性能问题。

• 识别客户行为：客户对什么感兴趣？哪些客户最活跃？他们在去哪里？日志提供了收集信息的机会，以便个性化销售和营销材料。

• 发现可疑活动：攻击者会在组织中留下痕迹。分析行为可以在他们获取有价值数据之前阻止他们。

• 符合审计要求：需要遵循标准和法规的公司必须定期接受审计。使用日志分析可以帮助确保审计不会失败。

日志分析的挑战是什么？

主要挑战包括：

• 规模：日志不断增长，团队的挑战也随之增加。许多工具难以扩展以处理企业级日志，组织越来越多地寻求 AIOps 来管理数据量。

• 集中化：能够通过单一视图看到组织内发生的情况是日志分析的最大优势之一。但日志数据种类繁多且经常分散，过时的架构可能无法与现代工具集成。团队需要标准化日志，以便更容易分析。

• 成本：并非所有日志数据都需要随时可用，但当团队需要时，必须立即获取。通过数据分层实现的经济型存储可以降低开销。

• 数据多样性：如今的分布式应用跨多个服务和系统，日志数据同样多样。从基础设施、应用到服务的结构化与非结构化日志，标准化和理解日志以高效查询至关重要。

日志分析的应用场景是什么？

从实时应用和性能监控，到根因分析和 SIEM，日志分析可以帮助彻底改变业务。除此之外，日志分析还能用于确保遵循安全策略、研究用户的线上行为，并整体上帮助企业做出更好的决策。

我应该把日志数据存在哪里？

取决于你希望立即访问信息的时间长短以及数据量。长期存储可以用 Amazon S3、AWS Glacier 或归档存储。另一种方法是直接存储在分布式存储系统中，例如 Elasticsearch，它可以提供不同的存储层。在选择工具时，重要的是要考虑数据在分析前重新加载的难易度。某些工具可能需要等到 24 小时后数据才能被检索。

日志分析策略需要什么？

为了充分利用日志，你需要一个能集中和自动处理日志的工具，以捕获特定事件。然后团队可以进行更深入的分析，从中提取有意义的洞察并基于模式做预测。它还需要能够扩展以应对海量日志，并具备毫秒级（而不是分钟级）的速度来提供答案。

Elastic 的日志分析解决方案

作为最受欢迎、部署最广泛的日志管理和搜索工具之一，Elastic Observability—— 基于 Elasticsearch 构建 —— 提供了强大且灵活的日志管理与分析。从本地部署到 Elastic Cloud，无论是可观测性还是安全需求，Elastic 都能轻松扩展，处理 PB 级别的日志数据，用于故障排查和洞察。

使用 Elastic，你可以获得：

• 简单的部署，可适用于多种用例

• 可扩展性和可靠性（支持 PB 级数据）

• 与团队已使用的工具集成 —— 以及平台内置的高级机器学习功能

• 通过简单的数据分层策略降低成本，只需为实际使用量付费

• 集中化的日志管理

无论你想将日志分析用于可观测性还是安全性，Elastic 都能做到一次采集、随处使用。

使用 Elastic 的日志分析

日志分析资源

• 使用 Elastic Stack 的日志分析

• 日志监控解决方案