ElasticSearch与Kibana简介及使用入门

最新推荐文章于 2025-02-16 22:06:34 发布

zh_94

最新推荐文章于 2025-02-16 22:06:34 发布

阅读量3.3w

点赞数 9

分类专栏：教程文章标签： Elasticsearch Kibana

本文链接：https://blog.youkuaiyun.com/zh_94/article/details/89446651

版权

教程专栏收录该内容

24 篇文章

订阅专栏

本文是关于ElasticSearch和Kibana的简介和入门指南。ElasticSearch是一个基于Lucene的搜索引擎，具备分布式、实时和全文搜索功能。文章详细介绍了ElasticSearch中的核心概念，如集群、结点、索引、类型和文档，以及安装、启动和基本的增、改、删、查操作。Kibana则是一个用于ElasticSearch数据的分析和可视化的工具，包括安装、启动、数据导入、索引模式设置、检索和数据可视化步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Elasticsearch一款基于Apache Lucene™开源搜索引擎，其核心是迄今为止最先进、性能最好的、功能最全的搜索引擎库Lucene。Elasticsearch使用简单，具有非常强大的全文搜索功能：

分布式的实时文件存储，每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器，处理PB级结构化或非结构化数据

ElasticSearch中使用到的概念

准实时

Elasticsearch是一个准实时系统：一个文档从存储到它能够被检索只有一个很短的延迟（通常情况下为一秒）。

集群（Cluster）

为所有数据提供存储和检索等服务的结点（服务器）集合。默认的名字为“elasticsearch”，结点（服务器）也依据名字被指定要加入哪个集群。

结点（Node）

作为集群的一部分，为数据提供存储和检索服务的一台服务器。

索引（Index）

索引的概念类似于关系数据库中的数据库，是相关文档存储的地方。相应的，“索引一个文档”表示把一个文档存储在某个索引中。

类型（Type）

索引中文档的逻辑分类，类似于关系数据库中的表。

Elasticsearch 6.0.0.已经不支持在一个索引中建立多个类型，在以后版本中会移除类型这一个概念。

文档（Document）

一条完整的记录，类似于关系数据库中的元组。

域（Fields）

类似于关系数据库中的属性。

倒排索引

Elasticsearch会为文档中的每个字段都建立倒排索引，这是它实现高效搜索的基础之一。

ElasticSearch类比传统数据库

Relational DB	Elasticsearch
Databases	Indices
Tables	Types
Rows	Documents
Columns	Fields

安装

Elasticsearch 需要 Java8 或更新的 Java 环境。Java 下载

下载 Elasticsearch 6.0.1 压缩包并解压

$ curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.1.tar.gz
$ tar -xvf elasticsearch-6.0.1.tar.gz

启动

$ cd elasticsearch-6.0.1/bin
$ ./elasticsearch

如果你不想使用默认的集群名和结点名，可以在启动时指定相应的参数：

$ ./elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name

交互

Elasticsearch启动后是一个 http 服务，默认在本地的 9200 端口。可以通过 curl 或者 Kibana 控制台进行操作。使用 curl 的命令格式如下：

$ curl -X<VERB> '<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

VERB：HTTP 方法，如 GET、POST、PUT、HEAD、DELETE
PROTOCOL：http 或者 https 协议
HOST： Elasticsearch集群中的任何一个节点的主机名，如果是在本地的节点，那么就叫localhost
PORT： Elasticsearch HTTP服务所在的端口，默认为 9200
PATH： API路径
QUERY_STRING：一些可选的查询请求参数，例如?pretty参数将使请求返回更加美观易读的JSON数据
BODY：一个JSON格式的请求主体（如果请求需要的话）

例. 查询集群中结点的健康状况

$ curl -X GET "localhost:9200/_cat/health?v"

绿色：一切安好
黄色：所有结点均可用，某些结点没有备份
红色：某些结点不可用

增

添加一个名为“customer”的索引

$ curl -X PUT "localhost:9200/customer?pretty"

查看现有的所有索引

$ curl -X GET "localhost:9200/_cat/indices?v"

在索引“customer”中添加一个 ID 为 1 顾客的信息，即一个文档（文档类型为 doc）

$ curl -X PUT "localhost:9200/customer/doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "John Doe"
}
'

查看顾客1的信息

$ curl -X GET "localhost:9200/customer/doc/1?pretty"

改

将顾客1的姓名改为 “Jane Doe”

$ curl -X PUT "localhost:9200/customer/doc/1?pretty" -H 'Content-Type: application/json' -d'
{
  "name": "Jane Doe"
}
'

查看顾客1的信息

$ curl -X GET "localhost:9200/customer/doc/1?pretty"

为顾客1添加一项年龄属性

$ curl -X POST "localhost:9200/customer/doc/1/_update?pretty" -H 'Content-Type: application/json' -d'
{
  "doc": { "name": "Jane Doe", "age": 20 }
}
'

删

删除“customer”索引

$ curl -X DELETE "localhost:9200/customer?pretty"

查看现有的所有索引

$ curl -X GET "localhost:9200/_cat/indices?v"

批处理

_bulkAPI 可以帮助我们一次进行多项操作。添加两个顾客 John Doe 和 Jane Doe

$ curl -X POST "localhost:9200/customer/doc/_bulk?pretty" -H 'Content-Type: application/json' -d'
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }
'

将顾客1的名字改为 Jane Done, 并删除顾客2的信息

$ curl -X POST "localhost:9200/customer/doc/_bulk?pretty" -H 'Content-Type: application/json' -d'
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}
'

查询

上面已经介绍了如何使用 curl 进行简单的查询。若要对数据进行复杂查询与分析，推荐结合使用 Kibana。

kibana简介

Kibana是一个与Elasticsearch协同工作的开源分析和可视化平台，Kibana 可以让你更方便地对 Elasticsearch 中数据进行操作，包括高级的数据分析以及在图表中可视化您的数据。

安装

Kibana 的主版本号和次版本号不要超过 Elasticsearch，最好使用同版本号的 Kibana 与 Elasticsearch。

下载 Kibana 6.0.1压缩包并解压

$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.1-linux-x86_64.tar.gz
$ tar -xzf kibana-6.0.1-linux-x86_64.tar.gz

启动

$ cd kibana-6.0.1-linux-x86_64/
$ ./bin/kibana

Kibana 默认运行在 5601 端口，打开浏览器访问 localhost:5601 即可看到 Kibana 控制台，打开 Dev Tools 便签栏即可与 Elasticsearch 进行交互。

准备数据

在体验Kibana之前先让我们准备一些更加复杂的数据，以便更好地体现出Kibana的效果。官网上有三个数据集可供使用：shakespeare.json、accounts.zip、logs.jsonl.gz。这里我们选择其中的accounts.zip、logs.jsonl.gz。

下载完成后需要解压

$ unzip accounts.zip
$ gunzip logs.jsonl.gz

在我们导入数据集前，需要先指定一些数据域的属性。

logs 数据的结构很复杂，此次示例我们只关心以下几个域：

{
    "memory": INT,
    "geo.coordinates": "geo_point"
    "@timestamp": "date"
}

在 Kibana的Dev Tools 控制台中输入一下命令对其中某些域指定特性：

PUT /logstash-2015.05.18
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}

PUT /logstash-2015.05.19
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}

PUT /logstash-2015.05.20
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}

accounts 数据不需要指定域特性，现在我们已经准备好了，可以向 Elasticsearch 导入数据了，在放有三个解压好的数据文件的同级目录下运行以下shell命令：

curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl

等待数据导入完成，再看一眼是否导入成功：

GET /_cat/indices?v

制定索引模式

在正常的使用过程中，你的Elasticsearch库中可能有非常多的索引，通过制定一些索引模式（即含有统配符的索引名匹配模板）可以在进行检索时有效地制定搜索的范围。在Kibana的 Management 标签栏下添加新的索引模式，这里我们添加了两个索引模式：ba*、logstash*

shakespeare和accounts数据都是没有时间信息的，所以在添加shakes*和ba*索引模式时“Index contains time-based events box ”一栏应该置为空，logs数据集带有时间信息，在添加logstash-*索引模式时在这一项选择“@timestamp”。