点火三周的专栏

Workplace Search 提供了大量的数据源的集成，我们只需要适当的配置就可以让Workplace Search自动同步数据源上的内容，让我们可以快速查询数据源上我们感兴趣的数据。但目前官方提供的一些数据源，比如像GitHub、Gmail、Google Drive等，都需要翻墙才能够获取内容以Gmail举例，当我们按照教程，完成OAuth访问配置，获得Client ID和Client Secret我们需要将Gmail配置为数据源，并且connect，以获取数据：我们会发现页面上会提示S

7.6版本的Elastic Stack提供了端到端机器学习管道所需的最后一块拼图。此前，机器学习专注于无监督技术与异常检测。然而，在7.x版本中，已经发布了几个功能。在7.2中，Elasticsearch发布了用于将原始索引转化为特征索引的Transforms。然后7.3、7.4和7.5分别发布了异常值检测、回归和分类。最后在7.6中，你可以使用回归和分类模型与推理ingest处理器来丰富文档。所有这些一起为端到端机器学习管道建立起了闭环。所有这些都可以在Elastic Stack中进行。为什么要进行有监

文章目录产品选择策略Elastic 产品版本策略Elastic 产品维护策略产品选择策略即便是Elasticsearch社区里面非常活跃，经常关注Elasticsearch相关话题和更新的小伙伴，也很难跟上Elastic Stack更新的节奏。因为整个Elastic Stack几乎以每月一个维护版本，两月一个次要版本，一年一个主要版本的进度在进行产品发布，粗略算下，2020年初到现在，已经发布了7个版本了。那么对于频繁更新的版本，我们很难，其实也没有必要跟上每个版本的节奏并进行对应的升级。那我们在进行版

文章目录以后再也不用安装安装 tons of beats 了！解锁Ingest management页面先决条件Ingest management组件简介集成（Integrations）新的索引策略配置（Configurations）Fleet数据流（Data Streams）Elastic Agent以后再也不用安装安装 tons of beats 了！用过Elastic Stack，用过ELK的小伙伴都知道，Elastic目前提供的数据采集方案主要是基于Beats。这是一个软件族，包括了多个组件：

以下是Elastic原厂解决方案架构师为大家制作的5分钟小视频。通过简单易懂的快速上手教程，让大家快速了解Elastic Stack各个功能:TitleSummarylinkIntroduction to Elasticsearch ServiceElasticsearch Service is a hosted Elasticsearch and Kibana solution from Elastic. Get started with a free 14-day trial

文章目录集群搭建准备演示数据体验service map体验全新的alert框架Elastic在美国时间5月13号发布了最新的7.7版本。该版本在三个解决方案上均有大幅的更新，比如：在全观察性解决方案上，推出了大家期盼已久的APM上的service maps功能，借助该功能，我们可以通过服务之间的调用关系来绘制整个服务之间的调用关系拓扑图，并通过这个逻辑拓扑图厘清复杂系统的结构，比如复杂业务系统内部调用关系链，系统与系统之间的关系，系统与中间件、数据库之间的链接关系等。并且，可以在这个关系图上实时监控整个

文章目录示例架构事件分析和探索APM 探索Infra探索Discovery探索Service探索总结Elastic坚信，如果我们要监控企业的IT基础设施或者说完成整个软件的端到端的全链路监控，那么就不应该漏过任何一个侧面的数据。这需要通过360度的全观察性来完成。Elastic Stack，作为一个大数据平台的技术栈，在运维监控这个垂直领域，已经提供了一套完整的技术解决方案，从日志分析，到指标监...

Elasticsearch不只是全文检索引擎的领头羊，现在也是各个大厂标配的大数据平台之一，被广泛用于搜索加速，用户标签、画像系统、向量搜索等领域，它不是传统的关系型数据库，但这个信息爆炸，数据堆积的时代，我们获取知识的方式已经极大的改变，搜索、提问成了获取知识的第一手段。对Elasticsearch工程师的要求已经不亚于甚至超过了对DBA的要求。那么，要如何才能成为一个被认可的Elastics...

文章目录事件（event）SQL的监控栗子1，看不到的多个SQL栗子2，batch SQL手动添加跨度redis的监控schedule的监控异常监控与日志分析系统的配合elastic APM还在不停的迭代当中。相对于其他的APM工具，我觉得如果有elastic APM有几个优势：背后是elasticsearch集群，可承载PB级数据，并且大部分的企业都会部署es集群，技术和资源共享elas...

对于各大APM厂商来说，通过用户轨迹监控（User Journey Monitoring）来获取用户访问网站或者APP时的轨迹已经成为了标配，通过该功能，我们可以了解用户的轨迹信息，比如：哪个页面最吸引用户访问，用户在哪个页面上停留的时间最长，哪个页面客户点击最少，停留的时间最少，一般是从哪个页面到哪个页面等等。elastic APM 目前只提供了一个RUM功能（Real User Monito...

dash，是macOS上一个极其有用的软件，通过dash，我们可以将各种技术文档离线下载到本地，然后进行快速的检索。并且，dash以IDE插件的形式，提供IDE等工具上的快速检索，你可以在IDE上通过快捷键，将你不熟悉的函数，方法，注解等快速定位到dash当中Elastic stack提供了大量的工具，并且版本发布频繁，要很好的使用它们，常常需要查看文档，怎奈 官网 的访问速度在国内并不尽如...

文章目录测试的基本架构技术栈测试框架逻辑拓扑微服务应用的搭建搭建Eureka注册服务器Eureka服务器配置创建provider service创建 rest endpoint创建consumerFeign配置使用apm java agent进行探测测试启动流程测试分布式追踪微服务架构现在已经是各个互联网应用的标配，并且开始作为一个技术框架的基本要求，慢慢扩展到其他行业，比如金融，保险等面向大量...

文章目录异常监测日志分析系统的配合这篇文章是接着上一篇elastic APM针对java应用的高阶用法（java agent）剩余的内容，异常监测和与日志分析系统的配合。异常监测接着上一篇文章中的内容，我们将异步函数里面进行redis连接的网络环境切换一下（把redis服务器给关了）。这时，jedis会抛出一个SocketTimeoutException异常。打开APM，看看这个异常是否能够...

今天收到一封邮件，elastic stack 发布了6.6版本，其中一个重要升级就包括了最近在关注的APM distributed tracing功能，之前的6.5版本中还属于beta版本，有一些坑，现在是GA版本了，必须试一下。顺便的，必须试一下ES传说中的cloud service。在ES cloud上使用部署最新的6.6套件申请整个步骤非常简单，点击邮件里面的连接，跳转到ES的云服务...

文章目录步骤介绍启动APM server监测python后端监测NodeJs后端监测用户行为APM UI小结在上一篇文章elasticsearch APM功能全解 一中已经提到过了分布式追踪(Distributed tracing)和真实用户监控(Real User Monitoring).分布式追踪 : 当我们对一个应用接口进行性能监控时，该接口服务调用可能是由数个分布式的微服务来共同完成...

elastic stack在6.3版本开始推出了APM功能，但当时只支持nodejs，python和ruby，尚不支持java和go，而公司里面大部分系统还是java，因此只是关注，还没有去解读。但在6.4.0版本，终于推出了java和go的beta版本，而在6.5.0版本，终于变为GA版本。这使得在生产环境上部署APM服务变为可能，下面让我们一起来看看elastic stack的这个APM服务...

前几篇文章，我在一个比较浅的层面给大家介绍了elastic的APM功能，对于我而言，在没有具体到真正的在生产环境上去应用，对各种场景进行适配之前，也只是对APM建立了一个基础的认知。在接下去的几篇文章中，我会尽可能的模拟各种我们在现实生产环境上可能遇到的场景来进行测试，看看elastic APM能够满足我们哪些方面的需求。无嵌套调用的微服务监控首先，我们先来看一个比较简单的场景，即部署多个进程...

作为一个elastic认证工程师，因为公司内部的一个要求：“必须用一个开发账户来安装所有的软件”，被整得死去活来，惭愧。。。问题描述首先，官网上有一点没有写好，如果你用rpm安装elasticsearch的话，必须先创建elasticsearch用户。如果你用一个别的用户，比如说用户名是jboss，在jboss用户下按照官网的命令：wget https://artifacts.elas...

问题描述在使用kibana做可视化的时候，总是避免不了因为数据的格式或者长度的问题导致显示异常，比如，我这里做了一个词云，用于显示最常出问题的模块：模块的值是从标准日志里面提取出来的。一些超长的模块名，导致UI无法完全显示：类似的，在做数据展示的时候，你总会碰到某些场景，要求你对数据做一些格式化的操作才能符合需求。其中一种解决方案是：我们可以在数据落地的时候就对数据进行额外的操作，将数...

何为painlesspainless的特性简单的例子具体例子初始化数据用painless获取doc的值通过painless更新对象值单条记录更新批量更新Dates

文章目录注册shodan并获取API安装shodan注册censys并获取API安装censys用censys查询可用elasticsearch资源记得以前我在elastic社区分享过一个主题《ITDS如何玩转elastic》(这里的ITDS是IT屌丝的意思)，里面提到过如何用elasticsearch做数字货币的交易数据分析，回测数据分析等。其中一个问题就是，我们如何把分析结果进行共享。如果我...

背景最近遇到一个问题，朋友需要使用es去处理一些基因数据，其特点和其他的数据不一样，对象的个数很少，但每个对象下面有很多field。并且field的值是动态添加的，用列式存储数据是最为方便的。方便起见，画了个示意图，file1是行式存储，即我们常见的csv，第一行是标题，后面每一行就是一条记录。而file2，则是列式存储，第一列式header，后面每一列都是一条记录要使用logstash...

文章目录背景原型需求核心的需求管理需求技术需求可扩展需求招募背景因为经常和elastic打交道，所以平常写了很多关于elastic的博文。因为elastic的更新速度，所以常常骂空气。基本上每个月都会有一个版本更新，为了跟上速度，集群，插件的版本和配置更新工作就成了家常便饭。虽然自己写了一套ansible的脚本，但使用起来并没有那么方便。单纯使用 ansible 脚本，在我看来有以下缺点：...

接触ELK这么久，一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能，填补一下这方面的空白。主要也是好多天没更新博客了，来写一篇文章目录基本需求任务分解web 前端web 后端索引替换文件监控与索引文件下载结语何为文件搜索系统？其实简单一点，就可以想象为一个带用户界面的grep，可以根据你提供的关键字查询包含该内容的文件。与grep一样，该系统应该能返回包含该搜索条件的文件名，行...

当真没想到随手写的一个文章 使用elasticsearch搭建文件搜索系统（带界面），居然会有这么多的点赞。哈哈，应该是贫穷限制了我的想象力，感谢30多位同学的赞。总之趁热打铁，围绕这个话题，趁我还有兴趣，再写一篇，

文章目录需求场景解决方案测试示例性能测试与调优需求场景当使用elasticsearch进行日志数据可视化的时候，往往会遇到需要IP地址无法human-reading的情况。这时，我们需要将IP地址进行一定的格式转换，将其转换为主机名（hostname）或者系统名（application/service name）。以WAF的日志为例，里面的dst_ip记录了被攻击的主机ip，scr_ip记录...

在6.0版本以前，登录kibana之后，默认会路由到app/kibana下的discover应用。在6.3版本以后，新增了一个home路径/app/kibana#/home?_g=h@44136fa，访问根路径\会直接跳到以上路径。希望在kibana上做更多定制化开发的同学，或许会有需求在登录kibana之后能够跳转到自己的页面。要完成以上需求，只需要在kibana的配置文件里面增加一行：...

正如官方文档所自豪宣称的那样。Kibana更多的是一个平台，一个可以让插件独立开发，“独立部署”的可扩展性平台，可以让我们自由的发挥自己的想象力和能力，根据自己的需求往上添加原生Kibana所不提供的功能。你可以开发一个新的app，也可以只部署一个后台服务，也可以是一个隐藏的跳转页面，这些，都有赖于plugin的方式，自由的在kibana上install, update和remove。问题描述...

之前在6.0.0版本上做过一次，那时是用template-kibana-plugin也就是sao来生成开发插件的模板的。需要自己去下载npm install -g sao然后再跑起来。还是想用这个方法的可以浏览这些文章：kibana-plugin-development-tutorial——kibana5版本的插件开发教程template-kibana-plugin文档——sao使用文档...

2017年11月，elastic发布了最新的elastic stack 6.0.0版本，整个版本做了不少的改动，大家可以查阅官方的release note和break change。我们第一时间尝鲜，将日志分析系统升级到6.0.0。坑肯定是少不了了，这里，说一下filebeat升级后但影响。在filebeat 5.x的版本中，如果你想在一个filebeat agent上收集不同的log，然后pub

[TOC] 在日常工作中，当我们需要去维护一个elasitcsearch集群以期能稳定工作。通常需要有计划的做很多事情。比如定期的清除数据，合并 segment，备份恢复等。如果我们具备编程能力，这些工作一般都是可以通过各种编程语言根据我们的需求，调用elasticsearch的API可以完成的。但是，重复造轮子之前，我们应该确定，别人没有遇到过类似的事情，没有通用的工具可以完成我们的需求，我们才

Reindex API 详解 只要有使用到elasticsearch的场景，那么或多或少总是会遇到需要重构索引的情况。如果对reindex API不熟悉，那么在遇到重构的时候，必然事倍功半，效率低下，一整天都不开心。在开始讲解具体的API的时候，有一点必须知道，Reindex不会尝试设置目标索引。它不会复制源索引的设置。您应该在运行_reindex操作之前设置目标索引，包括设置映射，分片计数，

很不幸的是，filebeat在处理log文件的时候，是并行处理的，当你有100个按照日期分割的日志文件，则这一个文件会同时被读取，并同时写入到kafka当中。logstash从kafka上读取数据时，读到不同日期的数据，基本上会在极短的时间内读到所有日期的数据，也就会在极短时间内往elasticsearch上创建大量的基于日期的index。

这篇文章是关于Elasticsearch性能指标的4部分系列的第1部分。在这篇文章中，我们将介绍Elasticsearch如何工作，并探索您应该监控的关键指标。第2部分解释了如何收集Elasticsearch的性能指标，第3部分将介绍如何使用Datadog来监视Elasticsearch，第4部分将讨论如何解决五个常见的Elasticsearch问题。什么是Elasticsearch？

painless的正则匹配painless查找操作符painless匹配操作符painless pattern matcherpainless CharSequence 在上一篇文章elasticsearch painless最强教程中，已经介绍了一些painless的基本例子，喜欢动脑子的同学应该已经看到了plainless或者说是elasticsearch的script强大之处了。我

如何使用logstash更新已有的elasticsearch记录常使用elasticsearch的童鞋，一定会遇到这种情况：我们需要修改已存储在ES中的数据，无论是数据内容或者是数据结构，来满足我们不断变化的需求。当我们需要修改数据的时，如果自己撸码一条一条的改动数据，不免有点低级，特别在大量的数据都需要修改的时候，这根本就是无法完成的任务。此时，势必要求助于工具。不知道Logstash是

当然，我们需要的不是logstash的管道速度，而是需要知道在特定filter配置下，logstash的吞吐量。 因此，可以把输入改为正常的log输入，比如sysloginput { generator { count => 2000000 message => ',Sep 7 09:30:01,HostName=sz180001,IP=lumpb.c

日志从客户端应用被收集，到最终写入elasticsearh被用户搜索到需要在好几段网络的流转。首先从客户端（filebeat或rsyslog)到kafka，再由kafka到logstash，再从logstash到elasticsearch。我们要提高整个集群的性能，首先得有专门的性能测试。但性能测试不能直接做起点到终点的测试，因为当性能不如预期的时候，这种测试无法知道性能的瓶颈到底出现在整个pip

最近遇到一个新的问题，当使用filebeat加载历史日志文件的时候，大量的数据会被加入到kafka队列，logstash会从队列里面读取大量的event发送到ES端。最开始的表现形式是： logstash一直不断的往ES发送信息，ES里面的数据也一直在增加，日志的写入量远大于原始的日志量，并且没有停止的迹象。 经查看kafka的consumer checker，发现队列的offset一直没有发生

日志从客户端应用被收集，到最终写入elasticsearh被用户搜索到需要在好几段网络的流转。首先从客户端（filebeat或rsyslog)到kafka，再由kafka到logstash，再从logstash到elasticsearch。我们要提高整个集群的性能，首先得有专门的性能测试。但性能测试不能直接做起点到终点的测试，因为当性能不如预期的时候，这种测试无法知道性能的瓶颈到底出现在整个pipe