Brave_heart4pzj的博客

ELK

ELK

ELK

ELK

ES

elasticsearch

ES导入导出

https://www.jianshu.com/p/6492b762c171 重复消费的原因分析https://www.jianshu.com/p/35e57b10cb33 解决办法

情况：这边对接了kafka，但是，kafka里面数据是乱序的，比如，5月20号，可能里面包含了，17号，18号，19号的数据，而且，队列里数据，是只能向前消费，无法回到之前的offset进行消费。于是，以前按照系统当前时间，创建索引的方式，不能使用了。index => "ods_harmful_%{+YYYY-MM-dd}"修改：注意字段对应关系： mutate{ split => ["message","^"] add_field => {

情景：我这边对接kafka，通过^符号来进行字符串分割其中， 有个时间字段，但是，时间是14位的数字字符串类似：20220517162218于是，我这边需要转换成date类型的，才能在页面上按时间查询转换成：2022-05-17 14:51:23代码： mutate{ split => ["message","^"] add_field => { "my_time" => "%{[message][8]}" } } da

首先说明下2个重要的参数：consumer.group.id (消费者组)auto.offset.reset :earliest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费latest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据nonetopic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常注意

[2022-05-12T15:09:13,065][ERROR][logstash.outputs.elasticsearch][unreasonable_use_kafka][d2128c0736a801fa462a2aea862c6bbf3923c3cce59e00fc70fa6e234d9dac33] Encountered a retryable error. Will Retry with exponential backoff {:code=>400, :url=>"http://

logstash 版本：7.12.0conf文件内容如下：input { kafka{ bootstrap_servers =>["1.1.1.1:9092,2.2.2.2:9092,3.3.3.3:9092"] group_id => "a_topic_group" auto_offset_reset => "latest" consumer_threads => 5 decorate_events => true topics => [

https://blog.youkuaiyun.com/weixin_39372979/article/details/105551335

https://blog.youkuaiyun.com/qq_27512271/article/details/89647017 推荐https://www.cnblogs.com/zlslch/p/6419948.html

https://blog.youkuaiyun.com/u011863024/article/details/115721328

https://blog.51cto.com/qiangsh/2342821?source=dra

Kibana安装：https://www.jianshu.com/p/400777287de6ES安装https://www.cnblogs.com/guanzhuang/p/11230295.html

https://blog.youkuaiyun.com/it_lihongmin/article/details/79728812

[2022-02-22T00:09:22,656][WARN ][logstash.outputs.elasticsearch][ods_host][dc07d40532915e5f6e1679ca41a6bc431b236880d34d44f80fc563f5e4aa2692] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elastic

https://blog.youkuaiyun.com/Q748893892/article/details/106050665

https://blog.youkuaiyun.com/UbuntuTouch/article/details/100995868

1、Rubydebug不能输出到logstash-plain.log，自身的log不够详细。2、配置文件没有类似Struts的import功能，导致，不同的源文件刷入要写对应的conf配置，并单独起一个logstash，如果强制写在一个conf里面，耦合度太高，查阅不方便。3、刷过的源文件，不能进行标记或者转移，方便后期清理数据。4、没有开放对外的个性化功能接口，给开发人员自定义开发自己的功能。5、多个logstash同时运行在一台服务器上，刷取多个数据源的时候，会出现乱数据的情况，字段值错位。比如

https://blog.youkuaiyun.com/qq_39669058/article/details/86480578删除就能重新读取日志文件了，也可以指定指定sincedb文件的目录使用，重要该路径必须指定到文件不能指定到文件的目录sincedb_path => “/home/logs/index.txt”...

https://blog.youkuaiyun.com/fdipzone/article/details/34588803

Reached open files limit: 4095, set by the 'max_open_files' option or default, files yet to open: 30608这个错误是，logstash的file input插件配置的 max_open_files 默认值太小是4095.所以，要调大。修改配置：max_open_files => 65535重启logstash，即可解决这个错误...

[2022-02-09T16:22:36,652][WARN ][logstash.outputs.elasticsearch][main] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://11.11.12.12:9211/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadRes

Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.我本地复现了这个报错：就是同一个logstash，启动了两次，导致了这个报错。网友的解决办法：https://blog.c.