Elasticsearch入门笔记_elastic双数据目录-优快云博客

本文介绍Elasticsearch的基本概念，包括接近实时搜索、集群、节点、索引、文档等，并演示如何搭建Elasticsearch集群，创建索引及进行数据操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ES(elasticsearch)

基本认识

什么是Elasticsearch？

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以在很短的时间内存储，搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。其实也可以将它看成一种类似于NoSql的数据库，只是ES主要用来做数据查询操作，常用来做搜索引擎。著名的github.com/search就是用它来作搜索引擎的。

名词解释

接近实时（NRT）
Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。
集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。
节点（node）
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
在一个集群中，如果你想，可以定义任意多的索引。
类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。
分片和复制（shards & replicas）
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。

分片之所以重要，有两个主要原因：
- 允许你水平分割/扩展你的内容容量。
- 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量。
至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的。
在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。
复制之所以重要，有两个主要原因：
- 在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。
- 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行。
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

只有一个node

添加一个node之后

安装ES集群

准备工作：

系统版本：Centos6.5_x64
JDK版本：jdk1.8（es需要运行在jvm上，所以必须先安装JDK）
用户：es（使用useradd es添加普通用户es，因为直接使用root启动可能报错）

安装elasticSearch很简单，只要去官网下载zip（windows版本）或tar.gz（linux版本）包解压后就可以直接启动。
下载ES
目前最新版本的已经是5.3的，但是5.x版本开始，head插件貌似不太好安装了，所以我这里找的是比较早期的版本，安装配置起来会比较简单。

下载下来之后解压缩tar -zxvf elasticsearch-1.2.1.tar.gz 。
解压1

在启动之前我们先来看看解压之后的目录结构
解压2
bin：可执行文件目录
config：配置文件目录
lib：运行jar包目录

解压之后就可以直接启动运行了，进入bin目录 $cd elasticsearch-1.2.1/bin
bin

执行./elasticsearch启动es，启动后会自动创建一个默认的集群名称【elasticsearch】

注意：./elasticsearch是在前台运行的，按下ctrl+c之后elasticsearch也就停止了。要启动在后台运行需要加上参数-d，这里为了能看到启动信息，所以就没有加参数了。
启动之后，我们可以在浏览器中输入：localhost:9200，能够看到类似如下这样的信息就说明启动成功了。

{
  "status" : 200,
  "name" : "Arno Stark",
  "version" : {
    "number" : "1.2.1",
    "build_hash" : "6c95b759f9e7ef0f8e17f77d850da43ce8a4b364",
    "build_timestamp" : "2014-06-03T15:02:52Z",
    "build_snapshot" : false,
    "lucene_version" : "4.8"
  },
  "tagline" : "You Know, for Search"
}

查看集群信息：crul -XGET http://localhost:9200/_cluster/health?pretty
查看集群名称

curl命令是一个利用URL规则在命令行下工作的文件传输工具。
参考: http://man.linuxde.net/curl 。如果还没安装这个工具，下面是安装方法：

linux下编译安装curl

下载最新版本curl(官网：https://curl.haxx.se)，linux平台的找到最新版本下载.tar.gz文件，windows平台就下载.zip。
#wget https://curl.haxx.se/download/curl-7.53.1.tar.gz
解压文件
#tar -zxvf curl-7.53.1.tar.gz
进入curl-7.19.7目录
#cd curl-7.53.1
执行configure
#./configure
编译，前提是安装了gcc，如果没有安装gcc可以直接运行yum -y install gcc来安装。
#make
安装
#make install
等待安装完成。

curl请求格式：curl -X<VERB> '<PROTOCOL>://<HOST>/<PATH>?<QUERY_STRING>' -d '<BODY>'

VERB：HTTP协议的请求方法，常用的有GET、POST、PUT、HEAD以及DELETE；
PROTOCOL：协议类型，http或https；
HOST：ES集群中的任一主机的主机名；
PORT：ES服务监听的端口，默认为9200；
QUERY_STRING：查询参数，例如?pretty表示使用易读的JSON格式输出；
BODY：JSON格式的请求主体；

安装head插件

如我们上面想查看集群信息，需要输入crul请求，包括增删改查都要用到这些命令，很不方便，有个head插件可以方便解决我们这些重复的劳动问题，也方便我们查看数据，现在我们来安装一下这个插件。
我们先停止es服务，在bin目录下执行./plugin -install mobz/elasticsearch-head命令安装head插件（5.x之后的版本已经不支持这样方便的插件安装方式了，而是把head作为一个独立运行的程序来执行）。等待片刻就安装好了。在次启动es，这次我们用后台启动的方式./elasticsearch -d,然后在浏览器中输入http://localhost:9200/_plugin/head/，看是否能正常访问。

目录结构说明

前面给大家看了解压es后的目录结构，下面是启动es后目录结构的变化，主要是多了data,logs,plugins三个目录，下面说下这几个目录的作用。
启动后目录结构
logs：很明显，这里面存放了es的一些运行日志。
plugins：这是es的插件目录，之前因为我们安装了head插件，所以这个目录下面有head插件的相关信息。
data：重点说下这个目录，这个是数据存放的目录，data的子目录是集群目录，与集群名称相同，如第一次启动后默认创建的elasticsearch集群，data下面就会有个elasticsearch目录。进入elasticsearch目录下面是nodes目录，意思就是集群的节点目录，再深入nodes目录，里面有类似0,1,2,3，…等一些数字目录，表示的是节点编号。

探索你的ES

REST接口

什么是REST?

一句话概括REST就是URL定位资源，用HTTP动词（GET,POST,DELETE,DETC）描述操作。
GET 用来获取资源，
POST 用来新建资源（也可以用于更新资源），
PUT 用来更新资源，
DELETE 用来删除资源。

现在我们已经有一个正常运行的节点（和集群）了，下一步就是要去理解怎样与其通信了。幸运的是，Elasticsearch提供了非常全面和强大的REST API，利用REST API你可以同你的集群交互。下面是利用这个API，可以做的几件事情:

检查你的集群、节点和索引的健康状态、和各种统计信息。
管理你的集群、节点、索引数据和元数据。
对你的索引进行CRUD（创建、读取、更新和删除）和搜索操作。
执行高级的查询操作，像是分页、排序、过滤、脚本编写（scripting）、小平面刻画（faceting）、聚合（aggregations）和许多其它操作。

创建一个集群

打开config目录下的elasticsearch.yml文件，可以看到默认创建的集群名称是elasticsearch，节点名称叫Franz Kafka。我现在把一台服务器的配置修改成cluster.name: os_our和node.name: "DimonHo Home"，另一台服务器的配置改成集群名称一样cluster.name: os_our，节点名称不同node.name：DimonHo Home2，其它的都保持默认配置，然后再重新启动elasticsearch。因为集群名称相同，两台服务器又在同一个网络中，所以这两个节点会自动组成一个集群。

################################### Cluster ###################################

# Cluster name identifies your cluster for auto-discovery. If you're running
# multiple clusters on the same network, make sure you're using unique names.
#
#cluster.name: elasticsearch
cluster.name: os_our

#################################### Node #####################################

# Node names are generated dynamically on startup, so you're relieved
# from configuring them manually. You can tie this node to a specific name:
#
#node.name: "Franz Kafka"
node.name: "DimonHo Home"

################################### Cluster ###################################

# Cluster name identifies your cluster for auto-discovery. If you're running
# multiple clusters on the same network, make sure you're using unique names.
#
#cluster.name: elasticsearch
cluster.name: os_our

#################################### Node #####################################

# Node names are generated dynamically on startup, so you're relieved
# from configuring them manually. You can tie this node to a specific name:
#
#node.name: "Franz Kafka"
node.name: "DimonHo Home2"

启动ES之后在shell中执行curl -XGET localhost:9200/_cat/health?v可以查看集群健康状态。

可以看到我的集群名称是os_our；健康状态是green，表示健康的意思；
当我们询问集群状态的时候，我们要么得到绿色、黄色或红色。绿色代表一切正常（集群功能齐全），黄色意味着所有的数据都是可用的，但是某些复制没有被分配（集群功能齐全），红色则代表因为某些原因，某些数据不可用。注意，即使是集群状态是红色的，集群仍然是部分可用的（它仍然会利用可用的分片来响应搜索请求），但是可能你需要尽快修复它，因为你有丢失的数据。

创建索引

执行命令创建一个名为bank的索引curl -XPUT 'localhost:9200/bank?pretty'
响应结果是:

{
  "acknowledged" : true
}

表示成功创建了一个索引。

执行curl 'localhost:9200/_cat/indices?v'查看索引状态:

green  bank   5   1          0            0        1kb           615b

删除索引

执行命令删除一个名为bank的索引curl -XDELETE 'localhost:9200/bank?pretty'
响应结果是:

{
  "acknowledged" : true
}

表示成功删除了一个索引。

创建索引，并创建自定义分词器

curl -XPUT 'http://localhost:9200/indexName' -d 
'{
  "settings": {
    "analysis": {
      "analyzer": {
        "semicolonAndLowercase_spliter": {
          "type": "pattern",
          "pattern": "[;]+",
          "lowercase": true
        }
      }
    }
  },
  "mappings": {
    "periodical": {
      "_all": {
        "auto_boost": true
      },
      "properties": {
        "authorsFull": {
          "boost": "4.9",
          "include_in_all": true,
          "index_analyzer": "ansj_normal",
          "search_analyzer": "ansj_search",
          "type": "string"
        },
        "journalName": {
          "include_in_all": true,
          "index": "not_analyzed",
          "type": "string"
        },
        "keywords": {
          "analyzer": "semicolonAndLowercase_spliter",
          "boost": "10",
          "include_in_all": true,
          "type": "string"
        },
        "source": {
          "properties": {
            "url": {
              "index": "no",
              "type": "string"
            },
            "usable": {
              "index": "no",
              "type": "boolean"
            }
          }
        }
      }
    }
  }
}'

测试分词器

curl -XPOST 'http://localhost:9200/{indexName}/_analyze?analyzer=semicolonAndLowercase_spliter' -d
'ADAMTS13; Cell-derived microparticles; Fever; Plasmodium falciparum;Malaria; Single nucleotide polymorphism'

range:范围查询

SELECT * FROM products WHERE price BETWEEN 20 AND 40;

GET /my_store/products/_search
{
    "query" : {
        "filtered" : {
            "filter" : {
                "range" : {
                    "price" : {
                        "gte" : 20,
                        "lt"  : 40
                    }
                }
            }
        }
    }
}

过滤查询

一下语句过滤journalName等于main group metal chemistry,且时间范围在[2012,2016]之间的结果。只返回三个字段结果。

curl -XPOST 'localhost:9200/indexName/typeName/_search' -d '
{
  "query" : {
    "filtered" : {
      "filter" : {
        "bool" : {
          "must" : [ {
            "term" : {
              "journalName" : "main group metal chemistry"
            }
          }, {
            "range" : {
              "year" : {
                "from" : 2012,
                "to" : 2016,
                "include_lower" : true,
                "include_upper" : true
              }
            }
          } ]
        }
      }
    }
  },
  "fields" : ["total","year","journalName"]
}'

关于返回字段：fields和_source的区别：

curl -XPOST 'localhost:9200/indexName/typeName/_search' -d '
{
  "query" : {
    "filtered" : {
      "filter" : {
        "bool" : {
          "must" : [ {
            "term" : {
              "journalName" : "main group metal chemistry"
            }
          }, {
            "range" : {
              "year" : {
                "from" : 2012,
                "to" : 2016,
                "include_lower" : true,
                "include_upper" : true
              }
            }
          } ]
        }
      }
    }
  },
  "fields" : ["total","year","source"],
  "_source":["year","source"]
}'

fields只能用于非嵌套的数据。为了能够加载出嵌套节点，我们需要在查询时使用_source参数。例如上面的例子，source下面还嵌套了url和usable两个属性，用fields查询就会抛出nested: ElasticsearchIllegalArgumentException[field [ztpcData_10] isn't a leaf field];异常。

过滤和查询结合

该语句在上一条过滤的结果上再精确匹配keywords字段同时包含” X-ray”和 ” crystal structure”的结果。

curl -XPOST 'localhost:9200/indexName/typeName/_search' -d '
{
  "query" : {
    "filtered" : {
      "query" : {
        "bool" : {
          "must" : {
            "terms" : {
              "keywords" : [ " X-ray", " crystal structure" ],
              "minimum_match" : "2"
            }
          }
        }
      },
      "filter" : {
        "bool" : {
          "must" : [ {
            "term" : {
              "journalName" : "main group metal chemistry"
            }
          }, {
            "range" : {
              "year" : {
                "from" : 2012,
                "to" : 2016,
                "include_lower" : true,
                "include_upper" : true
              }
            }
          } ]
        }
      }
    }
  },
  "fields" : "total"
}'