Elasticsearch实践(一)基本概念

elasticsearch是一个分布式的、可扩展的、提供restful风格服务的搜索引擎、数据分析引擎。基于Apache Lucene实现

Elasticsearch是一个高度可扩展的，开源的全文搜索和分析引擎，能帮助您快速的、接近实时的存储、搜索和分析大量的数据，通常被当做底层的技术引擎，为需要复杂搜索功能的应用提供下层支持。

Elasticsearch用来做什么？

解决数据的存储，搜索，分析方面的问题。为应用提供接近实时的搜索、分析服务。

下面是一些简单的使用场景：

• 网上商城，客户需要搜索商品，这种情况下，使用elasticsearch存储所有商品的数据和库存，给客户提供搜索和自动填充建议。
• 数据分析，收集日志或交易数据，分析和挖掘数据查找消费趋势，统计信息，摘要，异常。在这种情况下，可以使用logstash（Elasticsearch/Logstash/Kibana）堆栈的一部分，来收集，聚合，解析数据，然后logstash将数据提供给elasticsearch，一旦数据存储在了elasticsearch中，可以使用搜索和聚合来挖掘需要的信息。
• 价格报警平台，客户指定一条价格规则，如“某个商品降价低于￥10后通知我”，这个时候，可以刮取所有提供这个商品的供应商的价格，将其推入elasticsearch，并使用es提供的reverse-search (Percolator) 来匹配价格和客户，并最终发现匹配后，将警报推送给用户。
• 在大量数据上（数十亿记录）快速调查、分析并可视化特定问题，可以使用Elasticsearch存储数据，使用Kibana构建自定义仪表盘，来可视化重要数据。此外，还可以使用Elasticsearch的聚合功能，针对数据执行复杂的商业智能查询。

基本概念

NRT，（Near RealTime）

    准实时，ElasticSearch是一个准实时的搜索平台，并不是一个实时的搜索平台，从索引文档到可搜索文档，大概有1秒的延迟。

集群

    集群是一个或者多个服务器节点的集合，他们共同保存整个ElasticSearch的数据，提供跨所有节点的联合索引和搜索功能，集群有唯一标识的名称，默认情况下为“elasticsearch”，这个名称很重要，因为如果节点设置为按照名称加入集群，则该节点只是集群的一部分。

确保不要在不通的环境中，重用相同的集群名称，否则最终会导致节点加入错误的集群。例如，可以用logging-dev，logging-test和logging-pro用于标记不同的集群名称，用户开发、测试、生产集群。实际中一个集群可以直接一个节点，也可以有多个集群。

节点

    集群的一个单个服务器，存储数据并参与集群的索引和搜索功能，就像集群一样，节点由名称标识，默认情况下，名称是在启动时分配给节点的随机通用唯一标识符（UUID），如果不使用默认值，可以定义节点名称。名称对于管理Elasticsearch集群中的那些节点与那些服务器对应非常重要。

    可以将节点配置为按照名称加入集群，默认配置下，每个节点都配置为加入名称为elasticsearch的集群。这样，如果网络上启动了许多节点，且他们之间的网络是通的，这些节点自行组成并加入名称为elasticsearch的单个集群。

    在单个集群中，可以拥有任意数量的节点。此外，如果当前网络上没有其他节点运行，默认情况下，启动单个节点，将形成名称为elasticsearch的新单节点集群。

索引

  索引是具有某些类似特征的文档集合。例如，可以有客户数据的索引，产品目录的索引，订单数据的索引。索引由名称标识（全部小写），此名称涉及索引中的文档的执行索引，搜索，更新和删除操作。

  在单个集群中，可以根据需要，定义任意数量的索引。

Type

在6.0.0以前的版本中，type是索引的逻辑类别，或者称为分区，也就是在同一索引中存储不通类型的文档。例如一种用户类型文档，一种帖子类型的文档。现在6.0.0及以上版本已经不支持在索引中创建多个类型，并且在更高版本中删除类型的概念。

文档

文档是可以索引的基本信息单元。例如：可以为单个客户提供文档，为单个产品提供另一种文档，为单个订单提供又一种文档，文档以JSON标识。

在index/type中，可以根据需要存储任意数量的文档。请注意，尽管文档实际上驻留在索引中，但实际上必须将文档编入索引，并分配给索引中的type。

分片/副本

    索引可能存储超过单个节点的硬件限制的数据，例如占用1TB磁盘空间的10亿个文档的单个索引，可能不适合在单个节点的磁盘，或者可能太慢而无法单独从单个节点请求搜索数据。

    为了解决这个问题，ElasticSearch提供了将索引细分为多个分片的功能，创建索引时只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群的任何节点上。

    分片很重要，主要有两点原因：

• 可以支持水平拆分容量
• 可以支持跨节点，跨分片的分布式和并行操作，从而提高性能和吞吐量。

    分片的分布方式、如何将分布的文档合并并返回的机制都是ElasticSearch来完全管理的，对于用户是透明的。

    在网络和云环境中，故障随时都可能发生，为了防止分片/节点因为任何原因脱机或者不可用，ElasticSearch提供了故障转移机制，可以将索引的分片制作一个或多个副本分片，简称副本。

    副本很重要，主要有一下两个原因：

• 副本提供了分片/节点发生故障时提供了高可用性。因此，注意分片副本永远不要和原始分片在一个节点上。
• 副本的存在可以扩展搜索量和吞吐量，因为可以在所有副本上并行执行搜索。

    总而言之，每个索引可以拆分成多个分片，索引也可以被复制0次或多次，一旦复制，每个索引都将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）

    可以在创建索引的时候，为每个索引自定义分片和副本的数量。创建索引后，您还可以随时动态的更改副本数。可以使用_shrink和_split API更改现有索引的分片数，但这不是一项简单的任务，预先计划正确数量的分片是最佳方法。

    默认情况下，ElasticSearch中的每个索引都分配了5个主分片和1个副本，这意味着如果集群中至少有两个节点，则索引包含5个主分片和另外5个副本分片，总计为每个索引10个分片。

    每个ElasticSearch的分片都是Lucene索引，单个Lucene索引中包含的最大数量的文档。自LUCENE-5843起，限制为2147483519（= Integer.MAX_VALUE  -  128）个文件。 您可以使用_cat/shards API监视分片大小。

 Elasticsearch与关系数据库的概念对比

        关系数据库-------->数据库---------->表----------->行----------->列

        Elasticsearch----->索引-------------->类型--------->文档-------->字段

 了解了基本概念，然后开始安装并使用。