【弄nèng - Logstash】Logstash配置es search-guard插件

Logstash配置es search-guard插件

logstash文档https://elkguide.elasticsearch.cn/logstash/
es模板使用https://www.cnblogs.com/forsaken627/articles/6512379.html
在Search Guard中使用Logstashhttps://docs.search-guard.com/latest/elasticsearch-logstash-search-guard#using-logstash-with-search-guard

1. logstash安装

1.1 下载

下载 https://www.elastic.co/cn/downloads/logstash

1.2 添加配置

kafka输入，es输出

input {
		kafka{
				topics => ["test"]
				group_id => "batch-consumer"
				consumer_threads => 4
				bootstrap_servers => ["localhost:9092,10.10.0.1:9092"]
				codec =>{
					charset => "UTF-8"
				}	
				##格式json  
				#codec => json_lines     
} 

output {
        elasticsearch {
				#ES地址
                hosts => "127.0.0.1:9200"
				#指定索引名字
                index => "batch-%{+YYYY.MM.dd}"
				document_type => "job"
				#ssl => true
				#ssl_certificate_verification => false
				#truststore => "/appdata/itcloud/config/truststore.jks"
				#truststore_password => changeit
				
				#使用自定义es模板，在/usr/localhost/创建batch.json，order级别高一点，覆盖es中的映射模板
				#template => "/usr/localhost/batch.json"
				#template_overwrite => true
				#manage_template => false
				
				#es模板名
				template_name => "batch-monitor"
				user => admin
				password => yyadmin
					
        }
        stdout { codec => rubydebug}
}

• template
  你可以设置指向你自己模板的路径。如果没有设置，那么默认的模板会被使用

• template_name
  定义在Elasticsearch中模板的命名

• template_overwrite
  布尔类型 默认为false
  设置为true表示如果你有一个自定义的模板叫logstash，那么将会用你自定义模板覆盖默认模板logstash

• manage_template
  布尔类型 默认为true
  设置为false将关闭logstash自动管理模板功能
  比如你定义了一个自定义模板，更加字段名动态生成字段，那么应该设置为false

• ssl
  ssl为true可确保logstash使用HTTPS(来自官网)

• ssl_certificate_verification
  如果您希望logstash验证它从Elasticsearch收到的证书的主机名，请将ssl_certificate_verification属性设置为true。

• index
  我没有使用默认的索引名logstash， 如果使用索引名logstash那么logstash就会使用默认的映射模板。当然去年我们也可以修改它。

更详细的logshtash添加searchguard支持属性介绍参见：https://www.jianshu.com/p/0b89c07021f4

1.3 在ES中创建映射模板

创建名为batch-monitor的模板
参见ES模板使用[https://www.cnblogs.com/forsaken627/articles/6512379.html]

1.4 启动logstash

#进去logstash的bin，windows用cmd中端进入
logstash -f std_std_es.conf

2. 异常

2.1 could not find java; set JAVA_HOME or ensure java is in PATH

原因：
java环境变量设置有问题
解决办法

1. 重新设置正确
2. 在bin/kogstash.lib.sh文件首行添加

JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH

3. 参见
   这种方式待验证

---

项目推荐

IT-CLOUD :IT服务管理平台，集成基础服务，中间件服务，监控告警服务等。
IT-CLOUD-ACTIVITI6 :Activiti教程源码。博文在本优快云 Activiti系列中。
IT-CLOUD-ELASTICSEARCH :elasticsearch教程源码。博文在本优快云 elasticsearch系列中。

开源项目，持续更新中，喜欢请 Star~