姜希成的博客

脚本缓存：脚本编译的开销较大，Elasticsearch会将脚本编译后缓存在Cache 中。默认5分钟最多75次编译 (75/5m)应用场景： 修复与增强写入数据。内置的 Processors。

经典的ELK主要是由Filebeat + Logstash + Elasticsearch + Kibana组成。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到存储库。Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件。整合消息队列+Nginx架构：主要加上了Redis或Kafka或RabbitMQ做消息队列，保证了消息的不丢失。Logstash 配置文件结构。默认是 memory。

source。

TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。IDF是逆向文本频率 (Inverse Document Frequency)：每个检索词在索引中出现的频率越高，相关性越低。TF是词频 (Term Frequency)：检索词在文档中出现的频率越高，相关性也越高。相关性（Relevance）：搜索的相关性算分，描述了一个文档和查询语句匹配的程度。Lucene中的TF-IDF评分公式。

【代码】ElasticSearch-数据建模。

【代码】ElasticSearch-聚合性能优化。

不精准的原因： 数据分散到多个分片，聚合是每个分片的取 Top X，导致结果不精准。

配置 Hot & Warm 架构：使用Shard Filtering实现Hot&Warm node间的数据迁移。Cerebro 客户端：可以查看分片分配和通过图形界面执行常见的索引操作。Master eligible nodes 和 Master Node。使用 Shard Filtering 的步骤。为什么要设计 Hot & Warm 架构。两类数据节点，不同的硬件配置。

【代码】ElasticSearch-集群读写。

基本概念索引操作创建索引修改索引配置查询索引删除索引文档操作添加（索引）文档：POST和PUT修改文档全量更新增量修改使用_update部分更新使用_update_by_query 更新文档并发场景下修改文档查询文档根据id查询文档条件查询 _searchREST风格的请求URI，直接将参数带过去封装到request body中，这种方式可以定义更加易读的JSON格式删除文档文档批量操作批量写入批量创建文档 create

【代码】ElasticSearch-关联关系。

动态映射：不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。当数据写入 ES 时，数据将会通过 分词 被切分为不同的 term，ES 将 term 与其对应的文档列表建立一种映射关系，这种结构就是 倒排索引。当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数。对已有字段，一旦已经有数据写入，就不再支持修改字段定义。