ELK--Logstash 安装与数据导入

最新推荐文章于 2025-06-02 09:18:22 发布

strburnchang

最新推荐文章于 2025-06-02 09:18:22 发布

阅读量640

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记文章标签： logstash ELK

本文链接：https://blog.youkuaiyun.com/strburnchang/article/details/95040269

笔记专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍了如何使用Docker安装并配置Logstash，包括选择与Elasticsearch匹配的版本、配置网络参数、导入CSV数据文件至Elasticsearch，并通过Kibana进行数据验证的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Logstash 安装

查找镜像

docker search logstash

下载镜像

docker pull logstash:6.5.0

6.5.0 ：因为我的elasticsearch版本是6.5.0，故选此版本。

运行

docker run --name logstash logstash:6.5.0

查看是否启动

docker ps -a
在这里插入图片描述

进入容器修改配置

winpty docker exec -it logstash bash （docker exec -it logstash /bin/bash）

cd config
vi logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://172.17.0.2:9200

172.17.0.2 elasticsearch 的 ip
获取容器IP
docker inspect --format ‘{{ .NetworkSettings.IPAddress }}’

退出重新启动

dcoker restart logstash

二、Logstash 导入数据

下载数据源（movies.cvs文件，很经典的测试数据，自行搜索下载）

将数据文件拷贝至容器

docker cp G:/usr/local/logstash/movies.csv logstash:/usr/share/logstash/config/

将配置文件拷贝至容器

docker cp G:/usr/local/logstash/logstash.conf logstash:/usr/share/logstash/config/

1 从容器拷贝文件到宿主机
拷贝方式为：
docker cp 容器名：容器中要拷贝的文件名及其路径要拷贝到宿主机里面对应的路径
2 从宿主机拷贝文件到容器
拷贝方式为：
docker cp 宿主机中要拷贝的文件名及其路径容器名：要拷贝到容器里面对应的路径

配置文件内容

input {
  file {
    path => "/usr/share/logstash/config/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

#  mutate {

#    gsub => [
#      
#      "year", "\\)", ""
#    ]
#  }


  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }



}
output {
   elasticsearch {
     hosts => "http://172.17.0.2:9200"
     index => "movies"
     document_type => "movies"
     document_id => "%{id}"
   }
  stdout {}
}