AI驱动智能化日志分析 : 通过决策树给日志做聚类分析

日志自动化、智能化分析对于AI需求

通常，我们分析日志，是为了两个目标：

• 对数据有个整体的概览，例如，生成一天内的报表。
• 对异常数据进行挖掘，例如，对特殊的日志进行告警。

日志分析，通常对分析者有这些要求：

1. 对业务数据的熟悉程度要求比较高。
2. 要求开发者具备搭建分析系统的能力。
3. 对分析算法足够的熟悉。

通常分析日志，可以借助于流计算系统来做实时计算、或者借助elasticsearch做搜索。日志服务，提供了一整套完整的日志收集、消费、搜索、计算的平台。云计算提供的平台解放了开发者，开发者不再需要把精力消耗在日志支撑系统的维护上，把自己的时间投入到自己的主营业务上，会获得最大的回报。

不仅如此，日志服务还提供了了一些智能化分析日志的手段。在日志服务控制台，左侧快速查询栏目，提供了对数字列的分类统计，可以看出数字列的分布，集中分布在哪些地方，有哪些特殊值。

只从Alpha GO战胜李世石之后，人们终于认识到，机器学习用来预测的准确率，已经达到了人类智能的水平。AI，也可以帮我们来完成一些传统日志分析系统无法完成的工作，例如数据分类、离群数据分析等。今天我们介绍日志服务的快速分析所使用的无监督机器学习：决策树算法，并且通过样例来演示如何使用决策树来挖掘异常数据。

决策树算法简介

机器学习的算法繁多，其中很多算法是一类算法，而有些算法又是从其他算法中衍生出来的，因此我们可以按照不同的角度将其分类。按照学习方式分类，包括监督式学习，无监督学习，半监督学习，强化学习。其中，决策树属于无监督学习。无监督学习，不需要人工标注数据集，依赖于