DreamSun的博客

分词器生成的分词可能需要进一步丰富或增强，例如小写（或大写）标记、提供同义词、开发词干词、删除撇号或标点符号等。分词过滤器对分词进行处理以执行此类转换。Elasticsearch 提供了将近 50 个分词过滤器，正如你可以想象的那样，在这里讨论所有这些过滤器是不可行的。我已经设法抓住了一些，但请随时参考官方文档以了解其余的分词过滤器。过滤器接受一个分词过滤器数组；例如，我们在此示例中提供了 uppercase 和 reverse 过滤器）。

本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。同步双写是最简单的同步方式，能最大程度保证数据同步写入的实时性，最大的问题是代码侵入性太强。异步双写引入了消息中间件，由于MQ都是异步消费模型，所以可能出现数据同步延迟的问题。好处是在大规模消息同步时吞吐量更、高性能更好，便于接入更多的数据源，且各个数据源数据消费写入相互隔离互不影响。基于Mysql表定时扫描同步。

ES是基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全问搜索引擎，且ES支持RestFulweb风格的url访问。ES是基于Java开发的开源搜索引擎，设计用于云计算，能够达到实时搜索，稳定、可靠、快速。此外，ES还提供了数据聚合分析功能，但在数据分析方面，es的时效性不是很理想，在企业应用中一般还是用于搜索。ES自2016年起已经超过Solr等，称为排名第一的搜索引擎应用。

es的核心概念主要是：index(索引)、Document(文档)、Clusters(集群)、Node(节点)与实例，下面我们先来了解一下Document与Index。

当输入的字符串是数字的时候，ES 默认会当成字符串来处理，可以通过设置来转换成合适的类型；Dynamic Mapping 机制使我们不需要手动定义 Mapping，ES 会自动根据文档信息来判断字段合适的类型，但是有时候也会推算的不对，比如地理位置信息有可能会判断为 Text，当类型如果设置不对时，会导致一些功能无法正常工作，比如 Range 查询。除此之外，还用于多边形的geo_shape类型、用于笛卡尔点的point类型、用于笛卡尔几何的shpe类型，使用很少，这里省略。控制当前字段是否被索引。

当ES启动的时候，它会使用最新的commit point从磁盘恢复所有已有的segments，然后将重现所有在translog里面的操作来添加更新，这些更新发生在最新的一次commit的记录之后还未被fsync。2.每隔一段时间，buffer将会被提交： 一个新的segment(一个额外的新的倒序索引)将被写到磁盘 一个新的提交点(commit point)被写入磁盘，将包含新的segment的名称。文档的更新同理：当文档更新时，旧版本的文档将会被标记为删除，新版本的文档在新的segment中建立索引。

ELK的全称：Elasticsearch，Logstash，Kibana，属于Elastic.co公司。ELK 是什么?ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写– Elasticsearch:负责日志检索和储存– Logstash:负责日志的收集和分析、处理– Kibana:负责日志的可视化这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELKELK 能做什么?ELK组件在海量日志系统的运维中,可用于解决