干货 | Elasticsearch、Kibana数据导出实战

1、问题引出

以下两个导出问题来自Elastic中文社区。

问题1、kibana怎么导出查询数据？

问题2：elasticsearch数据导出

就像数据库数据导出一样，elasticsearch可以么?

或者找到它磁盘上存放数据的位置，拷贝出来，放到另一个es服务器上或者转成自己要的数据格式？

实际业务实战中，大家或多或少的都会遇到导入、导出问题。根据数据源的不同，基本可以借助：

• 1、程序写入
• 2、数据同步

logstash/flume/cana/es_hadoopl等来实现关系型数据库（如：Oracle、mysql）、非关系型数据库（如：Mongo、Redis）、大数据（Hadoop、Spark、Hive）到Elasticsearch的写入。

而数据的导出，一部分是业务场景需要，如：业务系统中支持检索结果导出为CSV、Json格式等。

还有一部分是分析数据的需求：期望借助Kibana工具将仪表盘聚合结果导出、不需要借助程序尽快将满足给定条件的结果数据导出等。

这些快速导出的需求，最好借助插件或者第三方工具实现。

本文将重点介绍Kibana/Elasticsearch高效导出的插件、工具集。

2、期望导出数据格式

一般期望导出：CSV、Json格式。

3、Kibana导出工具

3.1 Kibana 官方导出

步骤1：点击Kibana；步骤2：左侧选择数据，筛选字段；步骤3：右侧点击：share->csv reports。步骤4：菜单栏：选择Management->Reporting->下载。

以上是kibana6.5.4的实操截图。

其他常见报表数据导出：

在Dashboard的右上角点击Inspect，再点击就可以导出对应可视化报表对应的数据。

3.2 数据透视表pivot-kibana

Kibana的数据透视表——使用Kibana UI中的任何其他工具一样使用数据透视表可以极大地简化数据工作。

Flexmonster Pivot可以交叉和快速地汇总业务数据并以交叉表格式显示结果。

地址：https://github.com/flexmonster/pivot-kibana/

筛选数据效果如下：

注意：建议7.X以上版本使用。低版本不支持。

4、Elasticsearch导出工具

4.1 es2csv

1、简介：用Python编写的命令行实用程序，用于以Lucene查询语法或查询DSL语法查询Elasticsearch，并将结果作为文档导出到CSV文件中。es2csv 可以查询多个索引中的批量文档，并且只获取选定的字段，这可以缩短查询执行时间。

2、地址：https://pypi.org/project/es2csv/

3、使用方法：

1es2csv -u 192.168.1.1:9200 -q '{"_source":{"excludes":["*gxn",,"*kex","vperxs","lpix"]},"query":{"term":{"this_topic":{"value":41}}}}' -r -i sogou_topic -o ~/export.csv

4、使用效果：官方