wzz87的博客

背景：过滤ES集群中特定类型的某个时间段的数据到新的ES集群具体操作下：###类型TCCinput{ elasticsearch { hosts => "10.10.x.x:9200" index => "cqct_20200508_03" query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_n

迁移步骤遇到的问题1、创建仓库报错{“error”:{“root_cause”:[{“type”:“repository_verification_exception”,“reason”:"[my_backup] [[mu3vPb-eTBeom4ElNsSeoQ, ‘RemoteTransportException[[node-1][10.10.77.100:9300][internal:...

工具：logstash5.1.1应用：将ElasticSearch中的实时采集到的数据同步到HDFS作为历史数据存储初级版本脚本：input{ elasticsearch { hosts => "10.10.77.104:9200" index => "cqct_20180508_06" #query => "*" }}output...

工具：logstash5.1.1hdfs:hadoop2.8.3应用：将mysql中的某个表同步到hdfs系统中。input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connector-java-5.1.47-bin.jar" jdbc...

工具：logstash应用：将mysql中的数据同步到本地文件中。注意：path => “/home/tmp/output.txt”path的值要指定到文件，而不是文件夹input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connecto...

工具：logstash5.1.1应用：将mysql数据表中的数据同步到ElasticSearch1、确保es是可以连接上并且是健康的2、在将数据同步到es之前，要事先创建好对应的index3、运行脚本,脚本如下：input { jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql...

应用场景：使用logstash工具将mysql的数据表同步到ElasticSearch报错内容：java.lang.OutOfMemoryError: Java heap space解决方法：一开始我还以为是ElasticSearch的问题。free -h 查看了下内存使用情况，free的内存只有1.5个g了，后来发现ElasticSearch占用内存过大。于是就修改了ElasticS...