win7下elastic stack安装和简单使用

最新推荐文章于 2024-11-11 13:57:55 发布

原创最新推荐文章于 2024-11-11 13:57:55 发布 · 479 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#elk

大数据专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何在Windows环境下安装配置ELK Stack（Elasticsearch、Logstash、Kibana），并演示了通过Logstash将CSV数据导入Elasticsearch的过程。包括设置JDK环境、启动服务、创建索引及数据映射。

一、安装

1、安装jdk 1.8

2、es 安装
解压缩后运行 bin下的 elasticsearch.bat, 窗口关闭后es就停止了。 http://localhost:9200
安装成服务 elasticsearch-service.bat install

注：如果需要配置jdk版本，编辑 elasticsearch.bat 在第2行加入下面的内容
set JAVA_HOME=D:\tools\Java\jdk1.8.0_172
set PATH=%JAVA_HOME%\bin;%PATH%

http://localhost:9200 如果显示类似下面的内容，说明安装成功
{
"name" : "qHisy7o",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "GU8JX3c3RpW6Nev9b6MwgQ",
"version" : {
"number" : "5.1.1",
"build_hash" : "5395e21",
"build_date" : "2016-12-06T12:36:15.409Z",
"build_snapshot" : false,
"lucene_version" : "6.3.0"
},
"tagline" : "You Know, for Search"
}

另外，win7下也可以下载curl工具，执行curl命令，如
curl -XGET http://localhost:9200
curl -XPUT http://localhost:9200/library 创建索引library
curl --head http://localhost:9200/library 检查索引是否存在
curl -XGET http://localhost:9200/library?pretty

3、logstash 安装
下载 logstash 的zip文件解压缩后，进入 bin 目录，执行
logstash.bat --version 验证 logstash 是否正常。（如果需要配置jdk，则与es的操作一致）

4、kibana
下载 kibana 的zip文件解压缩后，进入 bin 目录，双击 bin 目录下的kibana.bat 可启动 kibana

配置文件为 config/kibana.yml ，如果想修改
# 修改内容
server.port: 5601
server.host: "内网地址或者是0.0.0.0"
elasticsearch.url: "http://ElasticSearch所在ip地址:9200"

二、使用

1、通过 logstash 往 elasticsearch 中导入数据

在 logstash 的 conf 目录创建文件diamonds.conf，内容如下：

input {
    file {
        path => "D:\tools\elk\Diamond.csv"
        start_position => "beginning"
    }
}

filter {
    csv {
        columns => ["caret", "cut", "colour", "clarity", "depth", "table", "price", "x", "y", "z"]
        separator => ","
    }
    mutate {
        convert => ["caret", "float"]
        convert => ["depth", "float"]
        convert => ["table", "integer"]
        convert => ["price", "integer"]
        convert => ["x", "integer"]
        convert => ["y", "integer"]
        convert => ["z", "integer"]
    }
}

output {
    elasticsearch {
        index => "stones"
        document_type => "diamond"
        hosts => "localhost"
    }
}

上面的内容分为三部分 input, filter, output，比较容易理解。其中 input部分的csv文件可以在本文的附件中下载。

然后在cmd窗口进入logstash的bin目录下执行 logstash.bat -f ..\config\diamonds.conf

当 logstash 执行成功后，elasticsearch中就会自动创建索引 stones 和类型 diamond。可以执行 curl命令进行验证和查询

curl -XGET http://localhost:9200/stones/_mapping/diamond?pretty 查看 diamond 的映射

curl -XGET http://localhost:9200/stones/diamond/_count?pretty 返回下面的结果
{
"count" : 309,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
}
}

数据有了，就可以进一步学习对 ES的各种操作以及对Kibana的学习。

本文内容到此结束，更多内容可关注公众号