gw的博客

简单介绍 ELK（ElasticSearch, Logstash, Kibana），三者组合在一起搭建实时的日志分析平台，目前好多公司都是这套！ Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行...

一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的 实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留...

1、问题引出 以下两个导出问题来自Elastic中文社区。 问题1、kibana怎么导出查询数据？ 问题2：elasticsearch数据导出 就像数据库数据导出一样，elasticsearch可以么? 或者找到它磁盘上存放数据的位置，拷贝出来，放到另一个es服务器上或者转成自己要的数据格式？ 实际业务实战中，大家或多或少的都会遇到导入、导出问题。 根据数据源的不同，基本可以借助： ...

Elasticsearch 7.x 最详细安装及配置 一、Elasticsearch 7.x 小马哥说过，学习技术栈得看版本，那么 Elasticsearch 7.x 有什么好的特性呢？ ES 7.0 是 2019 年 4 月份发布的，底层是 Lucene 8.0。其他还有需要了解的是： – 废除单个索引下多 Type 的支持 – ES Security 免费使用 – ECK – ES O...