点火三周的专栏

因此，日志系统的尽头绝对不是OLAP引擎。日志的未来只会是可观测性中的一极，日志系统最终会成本为完整可观测性系统的一部分，如果你想要的是一个有机的整合，而不是一个拼凑的缝合怪，那么从整体和长远上进行规划是必要的。

我的日常工作中，需要非常频繁的访问elasticsearch的官方文档，但并非各种环境下我都能顺畅的访问Elastic的官网。一份手边的离线文档，能让工作变得更加简单

CI/CD 可观测性为了帮助管理员监控 CI/CD 平台并对其进行故障排除，并帮助开发人员提高 CI/CD 管道的速度和可靠性，Elastic Observability 提供了持续集成和持续交付 (CI/CD) 流程的可见性。为了在管道上提供监控仪表板、警报和根本原因分析，Elastic 与最流行的 CI/CD 平台的社区合作，使用 OpenTelemetry 检测工具。CI/CD 可观测性架构使用 APM 服务器，将所有 OpenTelemetry 原生 CI/CD 观测工具直接连接到 Elas

ELK生态下，构建日志分析系统的选择说起开源的日志分析系统，ELK几乎无人不晓，这个生态并非是Elastic特意而为，毕竟Elasticsearch的初心是分布式的搜索引擎，被广泛用作日志系统纯粹一个“美丽的意外”，这是社区使用者推动而成。而现在各大云厂商推广自己的日志服务时，也往往将各种指标对标于ELK，可见其影响之广。但其实，流行的架构中并非只有ELKB，当我们使用ELKB搭建一套日志系统时，除了Elasticsearch, Logstash, Kibana, beats之外，其实被广泛使用的还有另

重要的提示 ： 要了解 Elastic 当前如何评估我们产品中此漏洞的内部风险，请参阅此处概述这篇博文提供了 CVE-2021-44228 的摘要，并为 Elastic Security 用户提供了检测，以发现他们环境中对该漏洞的主动利用。随着我们了解更多信息，我们将持续提供更多的更新。截至 2021 年 12 月 11 日星期六，此版本是准确的。可以通过Log4j2的安全页面直接调查来自 Apache 的更新。CVE-2021-44228 (Log4Shell) 摘要Lo...

今天真的是焦头烂额，新出来的这个log4j2零日漏洞看起来杀伤力极大，影响了Apache Struts2, Apache Solr, Apache Druid, Apache Flink等重量级的开源项目。当然也包括我们的Elasticsearch。在官方正式的通告、解决方案，补丁出来之前，我这里先简答说一下我个人的测试结果（注意，不代表官方！）划重点：我个人的测试结果是：只有ES 5+JDK8能复现。ES 5+JDK12，ES 6+JDK8，ES 7+JDK8均无法进行远程代码执行测试方案：使用

4月20号，MITRE（著名的MITRE ATT&CK安全知识框架背后的企业，现为MITER Engenuity，这是一个与私营部门合作开展许多举措，特别是网络安全的技术基金会）发布了2020 Carbanak+Fin7评估的结果。本次评估测试使用APT组织 Carbanak Group / Fin7 的攻击技术作为蓝本，用以评估各大安全公司的产品是否能够通过遥测和检测技术覆盖整个完整攻击链上的各个步骤，给企业提供充分必要的信息以及早发现威胁，采取响应。具体的评测结果可以登录MITRE的评测网站

最近Elastic的解决方案频繁进入Gartner的魔力象限，或许社区里的小伙伴有听说过Gartner，也听说过魔力象限，但相信对此特别了解的人不多，而对入选的意义，以及分属不同的象限所说明的问题不甚清楚者也不在少数，本文我们就简单普及一下Elastic的哪些解决方案进入了（或将进入）Gartner的魔力象限，以及其背后的含义。文章目录Gartner与魔力象限gartner简介Magic Quadrant 魔力象限Leader 领导者Challengers 挑战者Visionaries 有远见者、愿景者N

SSH（安全外壳）是用于基于Linux的系统，路由器，交换机，防火墙，设备和其他资产的最常见的远程管理协议。尽管SSH守护程序提供了出色的强化功能，以增强您的身份验证方法和访问控制，但SSHD并未提供本机监视功能。这篇博客文章详细介绍了如何使用ELK堆栈中的Kibana（Elasticsearch，Logstash和Kibana）将SSH日志文件转换为实时和交互式开源SIEM（安全信息和事件管理）仪表板。这样，您就知道谁在敲门并在SSH会话中获得可见性。图1显示了该实时仪表板。此安全性仪表板的左侧显示失

标题日期链接简介优诺案例-使用Elastic Stack来扩展优锘科技公司业务并改善用户体验2019-12-18课程链接 优锘科技是可视化软件研发者。优锘科技(北京优锘科技有限公司)致力于以Digital Twins的理念提供智能可视管理平台，实现对万物互联的数字化世界的可视化、智能化、人性化、众创化的创新管理，是IT智能管理和IoT物联网可视化管理领域的专业厂商。 运营副总裁孙岗说优锘科技的产品被金融业的许多大公司使用，例如银行。他们拥有大型数据中心和大量的应用系统。优锘科...

我们可以直接在对象存储里面进行数据的搜索，即我们能够保持对象存储里面的快照数据一直在线可查，通过构建一个小规模的，只带基础存储的计算集群，就可以查阅保存在快照中的海量数据！做到真正的计算和存储分离，并且极大的降低查阅庞大的历史冷冻数据的所需的成本和提高查询效能

文章目录处理快照在你开始之前配置快照仓库添加快照仓库配置创建集群并安装对应插件创建快照策略查看快照展望3月23号，Elastic又发布了最新的7.12版本。在这个版本中，最重要的一个更新是frozen tier的发布。相比于之前版本的cold tier（关于cold tier的细节，可以查看之前的博文：Elastic Searchable snapshot功能初探、Elastic Searchable snapshot功能初探 二 （hot phase）），其最大的不同是我们可以直接在对象存储里面进行数据

本文为日志文。。。使用ES对使用SSL加密的集群进行压测的时候，我们通常会使用--client-options选项，通过提供use_ssl:true,verify_certs:false的方式来避免证书验证。[当然，你也可以通过ca_certs提供CA证书校验]lient-options使用此选项，您可以自定义Rally的内部Elasticsearch客户端。它接受逗号分隔的键/值对的列表。键值对必须用冒号分隔。这些选项直接传递给Elasticsearch Python客户端API。请参阅支持的选项

文章目录开始之前申请ECE所需的资源硬件先决条件内存存储软件先决条件操作系统与Docker申请配置安装查看已经申请的主机安装ansibleansible授信ansible 脚本下载ansible playbook创建运行ansible-playbook踩坑指南网络连接问题ansible运行问题开始之前尽量先熟悉ECE官方文档中的内容。了解大概的结构，以便当我们想进行某些尝试的时候，知道可以在文档的哪些部分找到支持Introducing Elastic Cloud EnterprisePrepari

文章目录hot phase Searchable snapshot 演示创建索引生命周期管理策略创建索引模板和索引别名写入数据触发生命周期管理的action总结在上一篇文章中（Elastic Searchable snapshot功能初探），我们已经做了可搜索快照的简单演示。在总结中，我们提到：通过以上演示，我们发现，通过配合新的node_roles，我们可以快速将节点标记为冷层（cold tier），在ILM中，这个新的冷层，会自动成为cold phase搬移数据的目的节点。而通过ILM，我们可以快

文章目录可搜索快照roadmap可搜索快照演示在Elastic cloud上创建集群创建索引生命周期管理策略创建索引模板写入数据触发生命周期管理的action总结我在之前的博文《Elasticsearch引入可搜索快照（searchable snapshot）》中介绍过Searchable snapshot这个功能，简单来说，通过这个功能，我们能够解锁对象存储简单用作快照备份的功能，实现：大幅降低存储成本在Elastic Stack中摄取和保留更多数据开启新的可能性和用例当然，这里没有银弹，我

文章目录X-Pack商业付费功能介绍成本类功能可搜索快照效率集中化 Beats 管理集中化 Logstash 管道管理产品安全审计日志IP 筛选LDAP、PKIElasticsearch 令牌服务单点登录（SAML、OpenID Connect 和 Kerberos）基于属性的访问控制字段和文档级别安全性自定义身份验证和授权 Realm数据静态加密支持FIPS 140-2 模式集群监控与告警多堆栈监测可配置保留政策自动堆栈问题告警WatcherKibana 操作：电子邮件、PagerDuty、Service

文章目录1. 版本注意事项2.定义升级策略2.0 快照备份2.1 滚动升级（minor或单个major升级）2.1.1 Elasticsearch运行在最新的次要版本上2.1.2 Elasticsearch没有运行在最新的次要版本上2.2 新集群部署（跨多个主版本）2.2.1 后端：Elasticsearch2.2.2 后端和前端：Elasticsearch +应用程序3，常见的快速回归部署策略3.1 蓝绿部署3.2金丝雀部署4. 监视升级4.1 专用监控集群4.2 定义成功标准5.1 冒烟测试：构建验证5

介绍在本系列中，我将向您展示如何利用开源技术来构建自己的网络监视解决方案，使其足以部署在任何企业环境中！我们将使用的两种核心技术是Zeek（以前称为Bro）和ELK。其中，Zeek是一个开放源代码的网络监视框架，该框架根据网络旁路监听的数据创建警报和事件，其本质是一个IDS。它在整个行业中都有使用，尤其是在网络异常领域，实际上，英国网络安全公司Darktrace使用Zeek作为其产品的关键组件。该解决方案的计划是利用Zeek接入我们的网络，并将日志输入Elasticsearch，借助Elasti

目录网络设计配置X-Pack配置Elasticsearch SSL配置Kibana SSL配置Beats（Zeek）SSL添加身份验证向Elasticsearch添加数据启用检测安装Elastic EDR代理安装证书安装代理结论资源资源最近几个月，Elastic Stack发生了很多变化，并发布了许多免费的安全工具。由Comodo和Elastic Endpoint Security发布的OpenEDR。因此，我认为现在是查看Elastic的更改并...

腾讯云是Elastic在中国主要的云厂商合作伙伴，在腾讯云上也有提供Elasticsearch的SaaS服务。其名称为Elasticsearch Service（ES）。以下是腾讯云上的产品介绍：Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 构建的高可用、可伸缩的云端托管 Elasticsearch 服务。Elasticsearch 是一款分布式的基于 RESTful API 的搜索分析引擎，可以应用于日益增多的海量数据搜索和分析等应用场景。腾讯云

文章目录简化复杂的查询设计一种语言应用EQLIOC 检索时间窗口搜索管道处理事件序列进程祖系 （PROCESS ANCESTRY）函数调用阀值排序随着网络安全攻防双方的技术不断升级，敌方活动不再单纯地用静态的 “入侵指标”(IOCs)来描述。仅仅关注IOCs会导致检测变得脆弱，而且在发现未知攻击时效果不佳，因为对手可以通过简单的修改工具包以轻松逃避基于指标的检测。相反，安全从业者需要基于恶意行为的持续检测。MITRE ATT&CK框架可以帮助从业者将其防御传统技术集中在这些恶意行为上。通过将对手的

文章目录不断发展的旅程引入可搜索快照Cold层Frozen层优化最佳用户体验可搜索快照和我们的解决方案旅程还在继续今天就开始尝试在7.10中，我们很高兴地发布了可搜索快照的beta版，这个功能改变了你使用你所选择的对象存储（如AWS S3、Microsoft Azure Storage、Google Cloud Storage或同等产品）的方式，让你可以在：大幅降低存储成本在Elastic Stack中摄取和保留更多数据快速搜索性能这三者之间进行权衡。虽然我们已经支持将数据备份到低成本的对象存

文章目录用户对于es join的热切需求Siren Federate 插件带来的扩展能力Siren Federate的安装外部数据源的虚拟映射支持的外部数据源MySQL测试创建远程数据源步骤创建远程数据源对象Siren Federate join 与 Elasticsearch joinSiren Federate的分布式join半连接（semi join）内联接（inner join）Siren Federate的分布式join的特点及限制虚拟索引和普通索引的jion?总结最近在Elastic官网blo

这篇文章并非打算引战ES和CK社区。主要还是集中在ES本身，希望客户使用过程中避免一些误区，了解有用的细节ES的产品一直在快速的迭代和更新，希望大家能够多了解新版本上的特性，这非常有助于成本的优化，性能的提升和运维的简化当数据量过多，集群过多的时候，对ES的运维管理力不从心，可以联系一下售后和咨询，帮忙解决问题，毕竟直接替换产品，重入新坑，成本过高

Workplace Search 提供了大量的数据源的集成，我们只需要适当的配置就可以让Workplace Search自动同步数据源上的内容，让我们可以快速查询数据源上我们感兴趣的数据。但目前官方提供的一些数据源，比如像GitHub、Gmail、Google Drive等，都需要翻墙才能够获取内容以Gmail举例，当我们按照教程，完成OAuth访问配置，获得Client ID和Client Secret我们需要将Gmail配置为数据源，并且connect，以获取数据：我们会发现页面上会提示S

Elasticsearch 压测工具和基准数据Elastic针对Elasticsearch的性能测试/压力测试提供了一套工具——EsRally，可以方便我们快速的对Elasticsearch按照特定数据、脚本和配置进行相关性能和压力测试，并且返回整个运行过程的详细的运行指标。同时，官方也维护了一套每夜运行的基础测试环境——Elasticsearch-Benchmark，通过提供标准硬件上的测试结果以供大家参考。相信有不少人在正式搭建集群投入生产之前都曾查看过该数据，用于辅助根据和吞吐和性能确定集群规模。

7.6版本的Elastic Stack提供了端到端机器学习管道所需的最后一块拼图。此前，机器学习专注于无监督技术与异常检测。然而，在7.x版本中，已经发布了几个功能。在7.2中，Elasticsearch发布了用于将原始索引转化为特征索引的Transforms。然后7.3、7.4和7.5分别发布了异常值检测、回归和分类。最后在7.6中，你可以使用回归和分类模型与推理ingest处理器来丰富文档。所有这些一起为端到端机器学习管道建立起了闭环。所有这些都可以在Elastic Stack中进行。为什么要进行有监

文章目录产品选择策略Elastic 产品版本策略Elastic 产品维护策略产品选择策略即便是Elasticsearch社区里面非常活跃，经常关注Elasticsearch相关话题和更新的小伙伴，也很难跟上Elastic Stack更新的节奏。因为整个Elastic Stack几乎以每月一个维护版本，两月一个次要版本，一年一个主要版本的进度在进行产品发布，粗略算下，2020年初到现在，已经发布了7个版本了。那么对于频繁更新的版本，我们很难，其实也没有必要跟上每个版本的节奏并进行对应的升级。那我们在进行版

文章目录以后再也不用安装安装 tons of beats 了！解锁Ingest management页面先决条件Ingest management组件简介集成（Integrations）新的索引策略配置（Configurations）Fleet数据流（Data Streams）Elastic Agent以后再也不用安装安装 tons of beats 了！用过Elastic Stack，用过ELK的小伙伴都知道，Elastic目前提供的数据采集方案主要是基于Beats。这是一个软件族，包括了多个组件：

以下是Elastic原厂解决方案架构师为大家制作的5分钟小视频。通过简单易懂的快速上手教程，让大家快速了解Elastic Stack各个功能:TitleSummarylinkIntroduction to Elasticsearch ServiceElasticsearch Service is a hosted Elasticsearch and Kibana solution from Elastic. Get started with a free 14-day trial

文章目录集群搭建准备演示数据体验service map体验全新的alert框架Elastic在美国时间5月13号发布了最新的7.7版本。该版本在三个解决方案上均有大幅的更新，比如：在全观察性解决方案上，推出了大家期盼已久的APM上的service maps功能，借助该功能，我们可以通过服务之间的调用关系来绘制整个服务之间的调用关系拓扑图，并通过这个逻辑拓扑图厘清复杂系统的结构，比如复杂业务系统内部调用关系链，系统与系统之间的关系，系统与中间件、数据库之间的链接关系等。并且，可以在这个关系图上实时监控整个

文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中，Elasticsearch将默认算法由TF / IDF切换为Okapi BM25，该算法用于对与查询相关的结果进行评分。对Elasticsearch中的 TF / IDF 和 Okapi BM25感兴趣的可以直接...

文章目录示例架构事件分析和探索APM 探索Infra探索Discovery探索Service探索总结Elastic坚信，如果我们要监控企业的IT基础设施或者说完成整个软件的端到端的全链路监控，那么就不应该漏过任何一个侧面的数据。这需要通过360度的全观察性来完成。Elastic Stack，作为一个大数据平台的技术栈，在运维监控这个垂直领域，已经提供了一套完整的技术解决方案，从日志分析，到指标监...

Elasticsearch不只是全文检索引擎的领头羊，现在也是各个大厂标配的大数据平台之一，被广泛用于搜索加速，用户标签、画像系统、向量搜索等领域，它不是传统的关系型数据库，但这个信息爆炸，数据堆积的时代，我们获取知识的方式已经极大的改变，搜索、提问成了获取知识的第一手段。对Elasticsearch工程师的要求已经不亚于甚至超过了对DBA的要求。那么，要如何才能成为一个被认可的Elastics...

文章目录注册shodan并获取API安装shodan注册censys并获取API安装censys用censys查询可用elasticsearch资源记得以前我在elastic社区分享过一个主题《ITDS如何玩转elastic》(这里的ITDS是IT屌丝的意思)，里面提到过如何用elasticsearch做数字货币的交易数据分析，回测数据分析等。其中一个问题就是，我们如何把分析结果进行共享。如果我...

背景最近遇到一个问题，朋友需要使用es去处理一些基因数据，其特点和其他的数据不一样，对象的个数很少，但每个对象下面有很多field。并且field的值是动态添加的，用列式存储数据是最为方便的。方便起见，画了个示意图，file1是行式存储，即我们常见的csv，第一行是标题，后面每一行就是一条记录。而file2，则是列式存储，第一列式header，后面每一列都是一条记录要使用logstash...

当真没想到随手写的一个文章 使用elasticsearch搭建文件搜索系统（带界面），居然会有这么多的点赞。哈哈，应该是贫穷限制了我的想象力，感谢30多位同学的赞。总之趁热打铁，围绕这个话题，趁我还有兴趣，再写一篇，

接触ELK这么久，一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能，填补一下这方面的空白。主要也是好多天没更新博客了，来写一篇文章目录基本需求任务分解web 前端web 后端索引替换文件监控与索引文件下载结语何为文件搜索系统？其实简单一点，就可以想象为一个带用户界面的grep，可以根据你提供的关键字查询包含该内容的文件。与grep一样，该系统应该能返回包含该搜索条件的文件名，行...

文章目录需求场景解决方案测试示例性能测试与调优需求场景当使用elasticsearch进行日志数据可视化的时候，往往会遇到需要IP地址无法human-reading的情况。这时，我们需要将IP地址进行一定的格式转换，将其转换为主机名（hostname）或者系统名（application/service name）。以WAF的日志为例，里面的dst_ip记录了被攻击的主机ip，scr_ip记录...