wy

部署 ElastAlert# ElastAlert 在数据与特定模式匹配时发送警告。是可靠、模块化、易配置的工具# 通过将 Elasticsearch 与两种类型组件: 规则、警报结合使用，定期执行查询并将数据传递到规则# 首次运行前要使用其提供的可执行文件 "elastalert-create-index" 创建相关索引，索引名: elastalert_status# ElastAlert 的 Kibana UI 插件: https://github.com/bitsensor/elastale

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html# 其主要由三部分构成: # https://www.elastic.co/guide/en/beats/filebeat/current/how-filebeat-works.htmlprospector "探测器"# 其管理所有 Harvsters 并找到所有需读取的数据源，启动时会启动一或若干 prospectors 探测器进程去检测指定

时间序列数据可视化 Timelion# Timelion主要用于在可视化中组合完全独立的数据源，检索时间序列数据、通过计算挑选复杂问题的答案展示可视化结果# 如：# 1.每个唯一的用户在一段时间内查看了多少次页面# 2.本周与上周流量的区别# 3.今天日本有多少百分比的人口访问本网站# 4.标准普尔500指数的10天移动均线是什么# 5.过去年内收到的所有搜索请求的和https://www.elastic.co/guide/en/kibana/current/tim

如下配置不能实际运行，仅用于格式及配置流程的参考使用！（平时常用的插件汇总）# -----------------------------------------------------------# Filebeat中设置唯一的文档ID防止数据重复 (根据若干字段计算哈希指纹)# processors:# - fingerprint:# fields: ["field1", "field2"]# target_field: "@metadata._id"# --

# 从字段中解析时间戳date { match => ["[creatime]", # 时间字段 "yyyy-MM-dd HH:mm:ss", # "yyyy-MM-dd HH:mm:ss Z", # "MMM dd, yyyy HH:mm:ss aa", # Oct 16, 2020 11:59:53 PM.

input { kafka { bootstrap_servers => ["192.168.110.31:9092,192.168.110.31:9093,192.168.110.31:9094"] topics => ["logq","applog"] # 可配置多个topic group_id => "test" # 消费者组 client_id => "test"

openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout lumberjack.key -out lumberjack.cert -subj /CN=localhost lumberjack.key # name of the SSL key to be created lumberjack.cert # name of the SSL certificate to be created localho.

# 实时分布式搜索、分析引擎，用于全文搜索、结构化搜索、分析，建立在全文搜索引擎 Apache Lucene 之上# 使用名为倒排索引的数据结构，支持极快的全文搜索。其包含出现在所有文档中的每个唯一词并标识每个词所在的相关文档及其元数据# 注: 文本字段存在倒排索引中，数值和地理字段存在 BKD 树中 ...# Elasticsearch 其他基础依赖、插件 Jdk1.8 # 自 7.0+ 版自带jdk，无需安装 Nodejs # 作为head插件的依赖（Chrome应用商.

Multiple Pipelines# 当要在一个实例中运行多个管道时可通过 pipelines.yml 实现（采用 logstash -f 方式运行的实例是一个管道实例）# 为更方便管理，配置文件中使用一个 *.conf (input->filter->output) 文件对应一个pipeline（即path.config字段）# 在不带参数情况下启动Logstash时默认读取 pipelines.yml 并实例化其中指定的所有管道# 当使用 -e 或 -f 启动时将忽略 pipel

# 在使用Elasticsearch的Ingest功能实现数据解析时，也要使用到Logstash的转换功能# 如下情况使用logstash处理会更加方便：# 1. 更多输入，Logstash可从本地获取来自许多其他来源的数据如TCP、UDP、syslog、关系数据库# 2. 更多输出，Ingest节点仅将Elasticsearch作为输出，但可能要使用多个输出。例如将传入数据存到S3并在Elasticsearch中对其建立索引# 3. 利用Logstash中更丰富的转换功能，例如外部查.

--node.name NAME # 实例名称，默认是当前主机名-f, --path.config CONFIG_PATH# 从特定文件或目录加载配置，若是目录则从该目录中的所有文件按字典顺序连接，然后解析为一个个配置文件# 可指定通配符，任何匹配的文件将按照上面描述的顺序加载# 例如使用通配功能按名称加载特定文件：logstash --debug -f '/tmp/{one,two,three}'-e, --config.string CONFIG_STRING # 使用给定字串.

# _reindex 用于重建索引，并可在重建时提取字段，也可跨集群复制# 由于索引的某些配置是不可变的，如: 主分片数量、Mapping映射等，因此可通过重建索引的方式进行修改# 重建索引的操作不会复制索引的配置信息，因此需提前设置，或为其创建 Template# 最好在重建索引前将目标索引的副本数设为 0，并关闭刷新来加快写入进度# ------------------------------------------------------------------------ 复制索引P.

创建角色声明其拥有的权限POST _security/role/events_admin # _security/role/<ROLE_NAME>{ "indices" : [ { "names" : [ "events*" ], # 索引名 "privileges" : [ "all" ] # 权限 }, {