Logstash
关注
分享
扫一扫
小胖/老吴
至今为止全面主持或主要负责的地理信息项目及科研项目多达20多项，参与完成项目荣获国家科技进步二等奖1项，省部级科技进步奖2项，省部级工程类奖项7项，在《测绘科学》等期刊公开发表论文6篇，申请国家专利4项。
展开
-
在logstash7.4中实现不同来源数据输出到Elasticsearch的指定索引中
需求分析logstash可以采集不同来源、不同格式的数据，经过清洗、转换后统一存储到Elasticsearch中。为了区别不同来源的的数据，在Elasticsearch中可以分别建立索引。为了实现这个需求，需要在Logstash定义不同的数据源，根据数据源匹配对应的输出。需求实现1、首先在Elasticsearch中为不同来源的数据建立映射（mapping），定义每个字段的数据类型。2、其...原创 2019-12-18 13:29:42 · 2002 阅读 · 0 评论 -
实现Oracle12.1.0.1 到Elasticsearch7.4的动态增量更新
本人在前面写的《通过Logstash实现Oracle数据到Elasticsearch的批量导入》一文中介绍的方法适用于在搭建初始环境时，把原始数据一次性导入到Elasticsearch中。但是实际生产过程中，往往是需要实现Oracle到Elasticsearch的实时同步。下面我就来介绍一下借助Logstash7.4实现Oracle12.1.01到Elasticsearch7.4的动态增量更新的方...原创 2019-12-17 17:08:01 · 677 阅读 · 0 评论 -
Logstash7.4动态加载配置文件
从logst2.3开始，我们就可以把Logstash配置成动态监听配置文件修改、再加载配置文件功能。在启动logstash的时候使用命令行选项--config.reload.automatic（或是-r）就可以将logstash配置成动态更新配置信息。举个例子：bin/logstash -f apache.config --config.reload.automatic注意：当在命令行中...原创 2019-12-17 16:04:30 · 3430 阅读 · 0 评论 -
通过Logstash实现Oracle数据到Elasticsearch的批量导入
一、Logstash简介Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。logstash是ELK Stack产品套装中的一个成员。截止到2019年12月12日，最新发布的版本是7.5。Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解...原创 2019-12-12 17:35:01 · 1265 阅读 · 0 评论 -
Logstash7.4在Centos7上的安装
安装环境：CentOS Linux release 7.5.1804安装方式：单机本地安装本机IP：192.168.100.156本机计算机名：logstash安装路径：/usr/local/logstash-7.4.2ELK Static官方提供了多种安装logstash的方式，本文是通过下载Linux的tar.gz包后进行本地安装。Kibana不能在root用户下运行，在启动Kib...原创 2019-12-10 16:10:42 · 1516 阅读 · 0 评论