腾讯云 ES 之日志分析新范式：10 倍性价比提升！基于 ES Serverless 完成审计日志溯源...

引言

企业运营过程中，我们经常遇到因突发事件或需求变动需要快速构建未预定资源的情况。在这些情况下，由于缺乏充分准备和可供判断的信息，构建所需资源通常会花费大量时间。而在无法准确预测的情境下，误差可能导致资源不足或大幅度浪费。

为了给予用户更大的灵活性，例如产品快速验证、应对突发项目、灵活使用资源和按需付费等，腾讯云 Elasticsearch Service 在 PaaS 模式的专有托管集群之外，推出了更接近 SaaS 服务的腾讯云 Elasticsearch Serverless 服务。

此服务可以帮助用户在突发情况下快速构建并验证产品、处理紧急项目，从而降低资源浪费，提高利用率，并最终降低总成本。

本篇文章将通过一个突发的安全合规审计需求案例，展示腾讯云 Elasticsearch Serverless 服务与自建集群相比的优点，以帮助用户更好地理解和使用该服务。

同时，也通过最后的费用清单，给大家展示使用 Elasticsearch Serverless 服务在特定场景下的惊人性价比！

场景背景

在当前全球经济的冷落背景下，许多公司都在尝试降低成本并提高效率，其中裁员也变得司空见惯。然而，一家竞争对手最近因为一位被裁员工擅自删库的行为而导致严重的数据丢失和运营中断，这个消息让你的公司产生了巨大压力。尤其是因为你们刚进行过一轮裁员。

为了预防类似事件的发生，CEO 迅速命令 CISO 和 CTO 在当天提交一份初步报告，内容需要涵盖腾讯云上所有相关业务资源的权限分配和操作行为。这个任务无疑十分棘手，因为当前你们日常的操作和审计查询都只依赖于腾讯云控制台的简单日志查看功能，没有任何可以满足这种需求的日志分析系统。

显然，云控制台不能满足诸如检查详细权限分配，可疑操作行为分析等深度需求。首先，控制台用户界面并不完善或者直观。其次，针对特殊的分析功能可能缺少必要的细节，特别是复杂的查询以及查询后的聚合功能，以及定制化的可视化报表等。特别是，如果需要从历史记录获取信息，进行回溯审计，则更无法满足。

而如果选择重新去构建一套日志分析系统，则明显无法在短时间内完成，从资源的预估到申请和审批，再到部署和配置，可能会涉及多个部门协调，而现在时间就是生命。这种情况下，在经过与腾讯云架构师的快速沟通过程后，使用腾讯云 Elasticsearch Serverless 服务成为了目前情况下的最佳选择。

产品优势

作为一个广泛使用的开源搜索和分析引擎，Elasticsearch 被用于各种日志分析场景，包括全文检索、结构化搜索、分析和可视化等，其上手简单，并且有大量的社区资源可用于参考。而相对于自建集群，Elasticsearch Serverless 服务具有以下几个明显优势：

/ 易用性

1.  零运维：Elasticsearch Serverless 服务相较于自建服务，不仅可以避免基础架构资源的构建和运维工作，并且对 Elasticsearch 进行了完全的托管，从数据分层到索引生命周期管理，再到分片规划和均衡，用户可以无需专业的 Elasticsearch 运维，即可获得即时可用的稳定 Elasticsearch 服务。

2.  简易的采集：对于大多数日志和数据分析项目，数据采集通常会花费大量的人力和时间投入用于数据源的联通，整理，接入和采集。Elasticsearch Serverless 服务可以直接在控制台一站式配置云服务器 CVM，容器服务 TKE 日志采集，以及可以本例中的审计日志的接入，让用户快速的进入数据分析阶段。

/ 灵活性

1. 按需使用：Elasticsearch Serverless 服务可以按需创建和使用索引，无需提前准备和配置集群资源。突发审计需求时，可以迅速启动服务，完成日志导入和查询分析。

2. 自动弹性：服务具备自动弹性伸缩能力，根据查询负载动态调整资源，无需准确预判也能保持高性能查询，而不必担心资源不足或过载问题。

/ 成本效益

1. 按量付费：Elasticsearch Serverless 服务采用按量付费模式，只需为实际使用的计算和存储资源付费，无需预先购买和维护大量资源，避免高昂的前期投入和运维成本。

2. 降低冗余成本：自研存算分离架构，根据实际访问和存储量计费，避免闲置资源导致的冗余成本支出，大幅降低总成本。

3. 优惠活动：另外，腾讯云当前正在进行优惠活动，使用 Elasticsearch Serverless 服务可以享受更优惠的价格。

结合以上的优点，你最终采纳了架构师的建议，使用腾讯云 Elasticsearch Serverless 服务。

实践过程

时间紧迫，你开始着手实施方案。在实践过程中，你将会完成以下几个步骤：

1.  创建资源

2.  导入数据

3.  查询与分析

4.  创建监控与告警

5.  生成报告

/ 创建服务

在腾讯云 Elasticsearch Serverless 服务创建项目的步骤非常简单，同时也非常快速。整个过程耗时仅需数分钟时间。步骤如下：

● 在 Elasticsearch Serverless 控制台中创建一个新的项目空间，用于存储和分析审计日志。

● 在控制台上获取和修改访问控制信息。

● 在控制台上创建一个新的索引，用于存储审计日志数据，可以选择数据加工引擎为 Logstash。

● 字段映射配置（这部分可选）。为了能够在 Kibana 中查看和分析数据，需要合适的数据字段映射，这部分可以在创建索引时进行配置。通常来说，我们会建议将审计日志中的字段以自定义的方式映射到合适 Elasticsearch 的字段，而非使用动态生成。而在大模型被广泛应用的今天，我们可以借助 GAI 来实现这一目标。你只需要从审计日志中截取一个典型的日志文档，并要求LLM为你生成对应的可用于分析的 Elasticsearch mapping，就能获得一个大致可用的数据结构：

对比之下，创建 Serverless 的过程无需繁琐的配置和等待，只需几分钟就可以完成。而自建集群的创建过程，则会因为繁琐的选择和配置步骤可能会消耗大量的时间和精力，比如：

● 选择硬件规格：这包括了决定服务器类型，储存容量，网络带宽等等。

● 安装操作系统：根据项目需求选择合适的操作系统，并对其进行安装和配置。

● 配置网络设置：包括IP地址分配，子网设置，防火墙规则设定等等。

● 下载和安装 Elasticsearch：下载 Elasticsearch 的安装包，解压并安装，配置环境变量等等。

● 配置 Elasticsearch：包括集群配置，索引设置，数据备份等等。

● 安装和设置监控告警：包括资源使用情况，服务运行状态等等。

因此，我们可以看到，使用 Serverless 服务可以大大减少部署和配置的时间，让我们更快地进入数据导入和查询分析的阶段。

/ 数据导入

腾讯云 Elasticsearch Serverless 服务提供了多种数据导入方式，包括云服务的数据直接导入、也可以用通过 Oceanus、Beats、Logstash、API、SDK 等。

在这里，我们选择使用 Logstash 来导入腾讯云的审计日志数据。具体步骤如下：

1.  配置 Logstash：因为腾讯云严格的安全限制，我们需要保证 Logstash 是与 Serverless 服务在同一VPC中，或者通过 VPC 对 VPC 的连接进行通信。然后，在 Logstash 中配置输入插件以读取腾讯云的审计日志，配置过滤插件以解析和处理日志数据，最后配置输出插件将处理后的日志数据发送到 Elasticsearch Serverless 服务的索引中。

input {
    s3 {
        "access_key_id"=>"AKIDfKM8ezAviGkOnvnNv1qSotmNrnTsmtwk"
        "secret_access_key"=>"xxxxxxxxxxxxxxxxxxxx"
        "endpoint"=> "https://cos.ap-chengdu.myqcloud.com"
        "bucket"=>"loganalysis-1301873956"
        "region"=>"ap-chengdu"
        "prefix" => "audit/auditlog/2023/11"
        "codec" => "json_lines"
        "sincedb_path" => "/dev/null"
    }


}


filter {
    date {
        match => ["eventTime", "UNIX"]
        target => "@timestamp"
    }
}




output {
    elasticsearch {
        "hosts" => ["http://space-pxz2exn9.ap-guangzhou.qcloudes.com:80"]  # 替换为您的Elasticsearch主机
        "index" => "my-audit-log-pxz2exn9"  # 
        "user" => "elastic"
        "password" => "xxxxxxxxxxxxxxxxxxxx"
    }
}

2.  验证数据导入：启动 Logstash，数据将会自动导入到 Elasticsearch Serverless 服务中，完成后，无需登录 Kibana，即可在控制台中查看和查询数据。

/ 查询与分析

你开始利用 Elasticsearch Serverless 服务对导入的审计日志进行查询和分析，以快速生成所需的审计报告。通常来说，当我们需要进行一个数据分析工作之前，我们需要对数据有所了解。

1.  数据探索：通过 Kibana 的 Discover 功能，可以快速查看和搜索导入的审计日志数据，了解数据的结构和内容。

我们也可以通过丰富的可视化工具，来更好的理解数据的分布和特点。

2.  快速检索：利用 Elasticsearch 强大的查询能力，快速检索特定时间段、特定用户或特定操作的审计日志，帮助企业迅速定位潜在的安全事件。

● 示例 1：查询过去 24 小时内所有高危操作的记录。

{
       "query": {
         "bool": {
           "must": [
            { "term": { "resourceType": "es" }},
            { "term": { "eventName": "DeleteIndex" }},
             { "range": { "timestamp": { "gte": "now-24h/h", "lte": "now" } } }
           ]
         }
       }
     }

● 示例 2：查询被裁员工的所有操作记录。

{
    "query": {
        "bool": {
            "must": [
                { "terms": { "userIdentity.userId.keyword": ["123456", "789012"] } },
                { "range": { "timestamp": { "gte": "now-7d/d", "lte": "now" } } }
            ]
        }
    }
}

3.  可视化分析：利用内置的 Kibana 功能，创建各种可视化报表，对审计日志进行深入分析，发现潜在的安全风险和合规问题。

● 示例 3：创建一个柱状图，展示过去一周内不同类型用户在不同资源上的操作的频次。

/ 监控与告警

接下来，如果我们要持续的对异常或者不合规的行为进行监控，则可以通过 Elasticsearch 基本本身或者 Serverless 服务提供的监控与告警功能进行配置。

在自建集群中，配置监控和告警规则配置相对复杂，因为这需要深度的系统知识以正确地配置参数，并且需要不断地维护和更新这些规则以确保其效果。而在 Serverless 环境中，由于平台已经将这些基础设施作为服务进行了管理，使得配置监控和告警规则变得相对容易。此外，许多 Serverless 平台还内置了一些模板和工具，用户只需简单地选择或者定制就可以轻松地设置告警规则。

● 示例4：在自建集群中，设置告警规则，当某用户在短时间内执行了多次高危操作时发送告警。

{
       "trigger": {
         "schedule": {
           "interval": "5m"
         }
       },
       "input": {
         "search": {
           "request": {
             "indices": ["tencent-cloud-audit-logs"],
             "body": {
               "query": {
                 "bool": {
                   "must": [
                     { "term": { "resourceType": "es" }},
                     { "term": { "eventName": "DeleteIndex" }},
                     { "range": { "timestamp": { "gte": "now-5m/m", "lte": "now" } } }
                   ]
                 }
               },
               "aggs": {
                 "high_risk_operations": {
                   "terms": {
                     "field": "user_id.keyword",
                     "min_doc_count": 3
                   }
                 }
               }
             }
           }
         }
       },
       "condition": {
         "compare": {
           "ctx.payload.aggregations.high_risk_operations.buckets.size": {
             "gt": 0
           }
         }
       },
       "actions": {
         "notify_admin": {
           "email": {
             "to": "admin@example.com",
             "subject": "High-Risk Operation Alert",
             "body": "Multiple high-risk operations detected from the same user."
           }
         }
       }
     }

而在 Serverless 环境中，我们可以通过内置的告警功能，轻松地设置告警规则。

费用清单

经过紧张忙碌的工作，你终于完成了领导要求的审计报告和相关的告警监控功能。接下来，你需要对这次工作的成本进行核算，以便向领导汇报。我们可以看到，在将近一个月的时间中，Elasticsearch Serverless 服务的费用总计不到 ￥20，其中包括了数据存储（~ 200GB）、数据传输、数据处理、查询和分析等各项费用。这一费用相对于自建集群的成本来说，具有明显的优势。而现在就进行开通和使用的话，还可以享受腾讯云的新用户优惠的 50 元无门槛体验券，更加划算。

对比起来，如果我们需要自建一个稳定的 ES 集群（ 3 节点起步），那么以三个 4C8G 的机器为例，仅仅是 CVM 的费用就已经超过了 250 元。远超 Elasticsearch Serverless 服务不到 20 元的费用！

总结

在应对突发的安全合规检查时，腾讯云 Elasticsearch Serverless 服务凭借其卓越的灵活性和成本效益，能够迅速高效地完成审计日志的查询与分析，帮助企业快速应对突发安全需求。同时，按需使用和按量付费的模式大幅降低了企业的总体成本，是实现安全合规管理的理想选择。通过这种方式，不仅能在紧急情况下从容应对，还能为公司节省大量时间和资源，实现了 10 倍的性价比提升。

目前，该产品正在进行推广活动。各位读者如果有所意动，也请导入你的安全审计日志来一探究竟吧！

免费体验券与资源包 1 元购：

https://cloud.tencent.com/act/pro/es_serverless?from=21236（复制链接到浏览器打开）

外部开发者课程：

https://cloud.tencent.com/developer/learning/camp/21?from=22154&from_column=22154（复制链接到浏览器打开）

如对该产品感兴趣，也可扫码加入交流群，ES Serverless 服务的产品小哥非常 nice～