前言
es是大数据存储的必备中间件之一,通过flink可以读取来自日志文件,kafka等外部数据源的数据,然后写入到es中,本篇将通过实例演示下完整的操作过程;
一、前置准备
1、提前搭建并开启es服务(本文使用docker搭建的es7.6的服务);

2、提前搭建并开启kibana服务(便于操作es的索引数据);

3、提前创建一个测试用的索引
PUT test_index
注意点:
使用docker搭建的es,可能会出现创建完毕索引后,插入数据报错的问题,即提示无操作权限的问题,如果出现这个问题,请执行下面的这段,否则在运行flink代码的时候也会报错;
PUT _settings
{
"index": {
"bloc
本文详细介绍了如何使用Flink从文件读取数据,并将其写入Elasticsearch。首先,需要搭建并开启Elasticsearch和Kibana服务,创建测试索引。接着,编写Flink程序,导入相关依赖,读取CSV文件,转换并写入数据。在编写程序过程中,遇到的时间类型不匹配和Elasticsearch进入只读模式的问题,以及对应的解决办法也进行了分享。
订阅专栏 解锁全文
2411





