wzz87的博客

背景：过滤ES集群中特定类型的某个时间段的数据到新的ES集群 具体操作下： ###类型TCC input{ elasticsearch { hosts => "10.10.x.x:9200" index => "cqct_20200508_03" query => '{"query":{"bool":{"must":[{"range":{"optime":{"gt":"1591754706000","lt":"1591754706006"}}}],"must_n

迁移步骤 遇到的问题 1、创建仓库报错 {“error”:{“root_cause”:[{“type”:“repository_verification_exception”,“reason”:"[my_backup] [[mu3vPb-eTBeom4ElNsSeoQ, ‘RemoteTransportException[[node-1][10.10.77.100:9300][internal:...

工具： logstash5.1.1 应用：将ElasticSearch中的实时采集到的数据同步到HDFS作为历史数据存储 初级版本脚本： input{ elasticsearch { hosts => "10.10.77.104:9200" index => "cqct_20180508_06" #query => "*" } } output...

工具： logstash5.1.1 hdfs: hadoop2.8.3 应用：将mysql中的某个表同步到hdfs系统中。 input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connector-java-5.1.47-bin.jar" jdbc...

工具： logstash 应用：将mysql中的数据同步到本地文件中。 注意： path => “/home/tmp/output.txt” path的值要指定到文件，而不是文件夹 input { stdin{} jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql-connecto...

工具： logstash5.1.1 应用： 将mysql数据表中的数据同步到ElasticSearch 1、确保es是可以连接上并且是健康的 2、在将数据同步到es之前，要事先创建好对应的index 3、运行脚本,脚本如下： input { jdbc { jdbc_driver_library => "/home/logstash/logstash-5.6.9/lib/mysql...

应用场景： 使用logstash工具将mysql的数据表同步到ElasticSearch 报错内容： java.lang.OutOfMemoryError: Java heap space 解决方法： 一开始我还以为是ElasticSearch的问题。 free -h 查看了下内存使用情况，free的内存只有1.5个g了，后来发现ElasticSearch占用内存过大。于是就修改了ElasticS...