记docker部署logstash的一次报错

已于 2022-08-01 13:42:24 修改
阅读量1.6k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 避坑日记 文章标签： docker java 容器 运维开发 elk
于 2022-08-01 11:23:53 首次发布
本文链接：https://blog.youkuaiyun.com/weixin_45014413/article/details/126097462
在Docker环境下部署Logstash时遇到容器频繁崩溃的问题，日志显示配置错误。经过检查，发现配置文件每行末尾有多余的空格，这是导致错误的原因。修复这些空格后，Logstash成功启动。此经验提醒我们在配置Logstash时，务必注意配置文件的格式整洁，避免因额外空格等细节问题引发错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、报错与解决过程

docker run -d --name logstash -p 14560:4560 -v /root/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml -v /root/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf logstash:8.1.3

在docker上部署logstash的时候，刚把容器启动没一会儿就挂了，重启好几遍，还是会没一会就挂掉，查看日志发现以下信息：

“LogStash::ConfigurationError”, :message=>“Expected one of [ \t\r\n], “#”, “{”, “}” at line 3, column 21 (byte 37) after input {\n tcp {\n mode => “server””, :backtrace=>[“/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:32:in compile_imperative'", "org/logstash/execution/AbstractPipelineExt.java:189:in initialize’”, “org/logstash/execution/JavaBasePipelineExt.java:72:in initialize'", "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:47:in initialize’”, “/usr/share/logstash/logstash-core/lib/logstash/pipeline_action/create.rb:50:in execute'", "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:376:in block in converge_state’”]}

根据日志来看，报错的原因是配置文件出现了错误，仔细检查自己的配置文件，到底是没错啊，怎么就会报配置错误呢。

于是，按照日志信息的提示区配置文件的相应位置找问题，最终发现每个配置项的后面几乎都多了好几个空格，说多了都是泪啊😭😭😭。最终把多余的空格去掉后启动成功。
二、写在最后
重要的事情说三遍：logstash配置文件配置项末尾不要有空格！！！ logstash配置文件配置项末尾不要有空格！！！ logstash配置文件配置项末尾不要有空格！！！

CentOS 7启动Logstash时遇到错误
2301_79366435的博客
08-30 791
当您的Logstash配置文件存在语法错误或配置不正确时，您可能会收到"Configuration Error: Failed to parse configuration file"错误消息。如果您在启动Logstash时遇到"Permission denied"错误，这通常意味着Logstash没有足够的权限来访问所需的文件或目录。希望这些解决方案能够帮助您解决在CentOS 7上启动Logstash时遇到的常见错误。当您尝试在CentOS 7上启动Logstash时，可能会遇到各种错误。
[ElasticStack系列]docker部署logstash
热门推荐
凤歌
09-06 1万+
logstash安装部署、配置、测试
"LogStash::ConfigurationError", :message=>"Expected one of #, input, filter, output at line 1错误解决方案
NeoJoe博客
06-08 7621
在网上查了很多解决办法，结果还是没用，提示应该是配置文件中的内容有错误，但是我重新检查了几遍也没发现有错误，也没有括号缺少这些情况，然后就试着把配置文件的格式修改保存为utf-8的格式，结果可用了，终于从坑里跳出来了。 ...
LogStash系列：Failed to execute action LogStash::ConfigurationError
NIO4444
05-15 3191
问题 Failed to execute action LogStash::ConfigurationError 解决方法 pipelines.yml内配置的conf含有中文： 判断依据==》Linux系列：查看linux文件是否含中文字符
[ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
雨中深巷的油纸伞
04-11 2263
后命令台输出的路径到了logstash文件夹外面去了，后来试着改了下路径也没成功，最后将…config路径前加了一层，如下。开始按照一个博文里敲得命令调用的。但是一直报这个错，找不到文件。
新装logstash5.X报：No such file or directory - /usr/share/logstash/config/logstash.yml
lihengfang的专栏
09-08 4773
--- jar coordinate com.fasterxml.jackson.core:jackson-annotations already loaded with version 2.7.1 - omit version 2.7.0 --- jar coordinate com.fasterxml.jackson.core:jackson-databind already loaded
docker安装es、logstash、kibana
zchlove137的博客
08-13 2276
1、安装es 拉取镜像： docker pull docker.elastic.co/elasticsearch/elasticsearch:7.3.1 运行容器： docker run -d --name es --restart="always" -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.3.1 进入容器： docker exe
Docker部署Elasticsearch&Logstash将mysql数据导入Elasticsearch
sinat_30812239的博客
05-20 2025
1、安装docker 1.1、更换docker镜像源 2、拉取elasticsearch（以7.1.0为例） sudo docker pull elasticsearch:7.1.0 3、查看镜像 sudo docker images 4、运行elasticsearch容器 sudo docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e "ES_JAVA_OPTS=-Xms512m -Xm
使用Docker搭建ElasticSearch+Logstash+Kibana环境
leonDuHua的博客
07-03 7075
最近在做 Spring Cloud 相关系列框架的搭建，在做到整合微服务跟踪-Sleuth后，项目添加了Sleuth后已经能够正常的输出跟踪信息日志，接下来要对整个日志进行分析处理，这里选取使用配合ELK来做，首先需要搭建整个ELK环境。 ELK介绍 ELK （官网）其实是三个不同的内容，一般配合一起使用。分别是： - ElasticSearch - Logstash -...
docker部署elasticsearch8
2401_87198316的博客
09-18 1784
在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。将临时kibana节点中的配置拷贝到/opt/soft/docker/elasticsearch/kibana中。如果在停止该应用后对其进行了变更，那么变更的内容不会反映在重启后的应用中，这时需要重新部署应用使变更生效。IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。前面是kibana容器中的地址，后面是物理服务器上的地址。
解决docker启动logstash失败的问题（可能原因）
chunmiao3032的专栏
07-19 2472
解决docker启动logstash失败的问题（可能原因） 使用docker启动logstash时，可能会提示成功，然后自动就退出了，我的启动方式如下（以挂载的方式启动）： docker run \ -v /usr/local/logstash/lib/mysql-connector-java-5.1.46.jar:/usr/share/logstash/lib/mysql-connector-java-5.1.46.jar \ -v /usr/local/logstash/config/mysql.
docker 运行logstash出现permission denied
ljcgit的博客
04-27 2548
解决方法 在运行容器的时候加上--privileged=true。
LogStash 启动报错
柳牧之的博客
12-21 3132
报错信息如下： {:exception=>LogStash::ConfigLoadingError, :message=>"The following config files contains non-ascii characters but are not UTF-8 encoded [\"J:/elasticsearch/logstash-6.1.0/first-p...
logstash启动成功后立马停止
Zombie_p的博客
01-11 3156
logstash
windows下logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null
Angus
12-23 1044
logstash从文件中读数据写入es报错 Error: No such file or directory - :/dev/null
求助logstash的问题
Jennyheimei的博客
03-05 9984
请问一下为什么它老是说第三行报错，第三行也没做什么呀Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of #, input...
Logstash 7.4配置转发器报错提示：“[ERROR][logstash.agent] Failed to execute ction {:action=＞LogStash::Pipel”原因
Arthur_Holmes的博客
05-10 1522
                    Logstash 7.4转发器的配置启动报错的解决过程 经过修改配置文件，执行以下命令启动服务 nohup bin/logstash -f config/kafka_os_into_es.conf &    ----->通过nohup命令将服务启动的进程放到后台并输出到日志 输出...
logstsh | logstash-input-jdbc 启动错误收集
weixin_30314793的博客
08-10 626
1： Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of #, input, filter, outp...
docker中间件
最新发布
03-17
<think>嗯，用户之前问了关于Java的强引用、弱引用、虚引用，现在转向Docker中间件，可能需要了解两者的关联或者想扩展知识面。首先，用户可能对中间件的概念不太清楚，或者想知道Docker在中间件中的应用。Docker中间件可能指的是在Docker容器中运行的中间件服务，或者是Docker本身作为中间件。 需要明确中间件的定义：中间件是介于操作系统和应用之间的软件，提供通用服务，比如消息队列、缓存、数据库等。Docker作为容器化平台，可以用来部署和管理这些中间件，所以可能用户想知道如何用Docker来管理中间件，或者有哪些中间件适合在Docker中运行。 用户可能的需求包括：1. 了解中间件在Docker中的部署方法；2. Docker如何优化中间件的运行；3. 常见的中间件在Docker中的使用案例。可能需要分点解释，结构清晰，结合Docker的优势，比如隔离性、便携性、弹性伸缩等。 另外，用户之前的问题是关于Java引用类型，可能用户是开发人员，关注技术细节，需要实际的应用场景和示例。所以回答中应包含具体的中间件类型，比如Redis、Kafka、Nginx等，以及它们在Docker中的部署方式，可能还要涉及Docker Compose或Kubernetes的集成。 需要注意用户是否混淆了Docker本身作为中间件的情况，但更可能是指用Docker容器化中间件。需要解释清楚两者的关系，避免误解。同时，用户可能对Docker的基本概念已经了解，所以可以适当深入，但保持易懂。 最后，总结部分要强调Docker在中间件管理中的优势，比如快速部署、环境一致性、资源隔离等，帮助用户全面理解Docker中间件的应用场景和最佳实践。</think>--- ### **Docker 中间件详解** Docker 中间件通常指 **基于 Docker 容器化技术部署和管理的中间件服务**。中间件（Middleware）是介于操作系统和应用之间的软件，提供通用服务（如消息队列、缓存、数据库等）。通过 Docker 容器化中间件，可以实现快速部署、环境隔离、弹性伸缩等优势。以下是核心要点： --- ### **1. Docker 中间件的核心优势** - **环境一致性**： 通过容器镜像固化中间件的运行环境，避免“开发环境正常，生产环境报错”的问题。 ```bash # 示例：拉取 Redis 镜像并运行 docker run -d --name my-redis redis:latest ``` - **快速部署与扩展**： 一键启动中间件实例，结合编排工具（如 Kubernetes）实现自动扩缩容。 ```bash # 使用 Docker Compose 启动 RabbitMQ version: &#39;3&#39; services: rabbitmq: image: rabbitmq:management ports: - "5672:5672" - "15672:15672" ``` - **资源隔离与安全性**： 每个中间件实例运行在独立容器中，资源（CPU/内存/网络）隔离，避免相互干扰。 - **版本管理与回滚**： 通过镜像标签管理中间件版本，故障时快速回滚到稳定版本。 --- ### **2. 常见 Docker 中间件类型及部署** #### **(1) 消息队列中间件** - **Kafka**：分布式流处理平台 ```bash # 使用 Docker 部署单节点 Kafka docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \ -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \ wurstmeister/kafka ``` - **RabbitMQ**：AMQP 协议消息代理 ```bash docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:management ``` --- #### **(2) 缓存中间件** - **Redis**：内存键值数据库 ```bash docker run -d --name redis -p 6379:6379 redis:alpine ``` - **Memcached**：分布式内存缓存 ```bash docker run -d --name memcached -p 11211:11211 memcached:latest ``` --- #### **(3) 数据库中间件** - **MySQL**：关系型数据库 ```bash docker run -d --name mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -p 3306:3306 mysql:8.0 ``` - **MongoDB**：NoSQL 文档数据库 ```bash docker run -d --name mongo -p 27017:27017 mongo:latest ``` --- #### **(4) API 网关与代理中间件** - **Nginx**：反向代理与负载均衡 ```bash docker run -d --name nginx -p 80:80 -v ./nginx.conf:/etc/nginx/nginx.conf nginx:latest ``` - **Traefik**：云原生边缘路由器 ```bash docker run -d --name traefik -p 80:80 -p 8080:8080 \ -v /var/run/docker.sock:/var/run/docker.sock traefik:latest ``` --- ### **3. Docker 中间件管理实践** #### **(1) 数据持久化** 使用 **Volume** 或 **Bind Mount** 避免容器重启后数据丢失： ```bash # Redis 数据持久化示例 docker run -d --name redis -v redis_data:/data redis:alpine ``` #### **(2) 网络配置** 自定义网络实现容器间通信： ```bash docker network create my-network docker run -d --network my-network --name mysql mysql:8.0 docker run -d --network my-network --name my-app my-app-image ``` #### **(3) 监控与日志** - **Prometheus + Grafana**：监控容器资源使用率。 - **ELK Stack**（Elasticsearch, Logstash, Kibana）：集中管理容器日志。 --- ### **4. Docker 中间件的挑战与解决方案** | **挑战** | **解决方案** | |-------------------------|------------------------------------------| | **性能开销** | 选择轻量级基础镜像（如 Alpine Linux）。 | | **跨主机通信** | 使用 Overlay 网络或 Kubernetes CNI。 | | **安全漏洞** | 定期扫描镜像（如 Trivy、Clair）。 | | **配置管理复杂** | 使用 ConfigMap（Kubernetes）或环境变量。 | --- ### **总结** - **Docker 中间件的核心价值**：标准化部署、资源隔离、弹性扩展。 - **适用场景**：微服务架构、CI/CD 流水线、混合云环境。 - **推荐工具链**： - 编排：Kubernetes / Docker Swarm - 监控：Prometheus + cAdvisor - 日志：Fluentd + Elasticsearch 若有具体中间件（如 Kafka 调优）或部署问题，欢迎进一步探讨！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值