fct2001140269的博客

Spark-steaming监控设计与验证方案​ created by fangchangtan | 2020/2/24原创不易，谢绝白嫖，好的话就点个赞吧!1总览1.1参考文献：对spark steaming运行中的批处理过程的监控https://blog.youkuaiyun.com/qq475781638/art...

docker 安装、配置、验证ElasticAlert​ created by fangchangtan | 2020/2/241.elastalert的场景用途​ elastalert组件作为elk中日志关键词的告警组件。基本的流程是，通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ，获得对程序的健康状态和稳定性的监控告警。2.安装elast...

es的基本概念：索引、类型、文档；倒排索引的原理；elasticsearch集群节点、分片；对es的写过程（写入【重要】、删除、更新）、读过程（重要）；es中搜索中涉及的算法；...

Elasticsearch，在笔记本上写下了如下记录：反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。搜索引擎原理就是建立反向索引。Elasticsearch 在 Lucene 的基础上进行封装，实现了分布式搜索引擎。Elasticsearch 中的索引、类型和文档的概念比较重要，类似于 MySQL 中的数据库、表和行。Elasticsearch 也是 Master-slave...

elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...

由于需要增大es的内存，从1g到2gdocker下es的堆内存设置网上搜到的是这个但是不生效啊，后期使用如下:(若是在dcos云平台上使用的)提示注意：不能加等号=符号；并且不能双引号""。特此记一下。...

Java操作es的问题与案例 demo问题1：No Log4j 2 configuration file foundERROR StatusLogger No Log4j 2 configuration file found. Using default configuration (logging only errors to the console), or user programmat...

es安装插件head，显示未连接一、第一步确保，当前的ES和es-head都已经启动起来了。例如检查ES启动：检查进程或启动日志；或者在浏览器中输入使用你的安装ES的主机IP:9200，直接返回浏览器返回如下字符串。{ "name" : "erFvgr_", "cluster_name" : "elasticsearch", "cluster_uuid" : "j4SXovqvR...

ELK搭建过程中遇到的问题ElasticSearch+kibana+logstash监控和分析系统https://blog.youkuaiyun.com/jklfjsdj79hiofo/article/details/72355167我是用的版本组合（注意版本之间的组合）：kibana-6.0.1-linux-x86_64.tar.gzelasticsearch-6.0.1.tar.gzlogst...

参考资料;https://www.cnblogs.com/LXL616/p/10971229.htmlHadoop生态圈-使用Ganglia监控flume中间件使用Ganglia监控Flume注意我是用的是CentOS7.0的版本，与centos6.x之间配置有细微区别 本文是在原来作者的基础上修改的。4.1 Ganglia 的安装与部署1) 安装 httpd 服务与 php[atg...