Flink 实践教程:入门(2):写入 Elasticsearch

ES 数据写入方式:直连 VS Flink 集成系统 ES 作为一个分布式搜索引擎,从扩展能力和搜索特性上而言无出其右,然而它有自身的弱势存在,其作为近实时存储系统,由于其分片和复制的设计原理,也使其在数据延迟和一致性方面都是无法和 OLTP(Online Transaction Processing)系统相媲美的。也正因如此,通常它的数据都来源于其他存储系统同步而来,做二次过滤和分析的。这就引入了一个关键节点,即 ES 数据的同步写入方式,本文介绍的则是 MySQL 同步 ES 方式。将 MySQL 数据写入 ES,首先想到的一定是消费 Binlog 直连 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将为您详细介绍如何使用 datagen 连接器生成随机数据,经过流计算 Oceanus,最终将计算数据存入 Elasticsearch 。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 流计算 Oceanus 控制台,点击左侧【集群管理】,点击左上方【创建集群】,具体可参考流计算 Oceanus 官方文档 创建独享集群。

创建 Elasticsearch 集群

进入 Elasticsearch 控制台,点击左上方【新建】,创建 Elasticsearch 实例,具体操作请访问 创建 Elasticsearch 集群

!创建流计算 Oceanus 集群和 Elasticsearch 集群时所选 VPC 必须是同一 VPC。

流计算 Oceanus 作业

1. 创建 Source
-- Datagen Connector 可以随机生成一些数据用于测试
-- 参见 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/datagen.html

CREATE TABLE random_source ( 
  f_sequence INT, 
  f_random INT, 
  f_random_str VARCHAR 
  ) WITH ( 
  'connector' = 'datagen', 
  'rows-per-second'='1',  -- 每秒产生的数据条数
      
  'fields.f_sequence.kind'='sequence',   -- 有界序列(结束后自动停止输出)
  'fields.f_sequence.start'='1',         -- 序列的起始值
  'fields.f_sequence.end'='10000',       -- 序列的终止值
      
  'fields.f_random.kind'='random',       -- 无界的随机数
  'fields.f_random.min'='1',             -- 随机数的最小值
  'fields.f_random.max'='1000',          -- 随机数的最大值
      
  'fields.f_random_str.length'='10'      -- 随机字符串的长度
);
2. 创建 Sink
-- Elasticsearch 只能作为数据目的表(Sink)写入
-- 注意! 如果您启用了 Elasticsearch 的用户名密码鉴权功能, 目前只能使用 Flink 1.10 的旧语法。若无需鉴权, 则可以使用 Flink 1.11 的新语法。
-- 参见 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector

CREATE TABLE Student (
    `user_id`   INT,
    `user_name` VARCHAR
) WITH (
    'connector.type' = 'elasticsearch', -- 输出到 Elasticsearch

    'connector.version' = '6',            -- 指定 Elasticsearch 的版本, 例如 '6', '7'. 注意务必要和所选的内置 Connector 版本一致
    'connector.hosts' = 'http://10.0.0.175:9200',  -- Elasticsearch 的连接地址
    'connector.index' = 'Student',        -- Elasticsearch 的 Index 名
    'connector.document-type' = 'stu',    -- Elasticsearch 的 Document 类型
    'connector.username' = 'elastic',     -- 可选参数: 请替换为实际 Elasticsearch 用户名
    'connector.password' = 'xxxxxxxxxx',  -- 可选参数: 请替换为实际 Elasticsearch 密码

    'update-mode' = 'append',             -- 可选无主键的 'append' 模式,或有主键的 'upsert' 模式     
    'connector.key-delimiter' = '$',      -- 可选参数, 复合主键的连接字符 (默认是 _ 符号, 例如 key1_key2_key3)
    'connector.key-null-literal' = 'n/a',  -- 主键为 null 时的替代字符串,默认是 'null'
    'connector.failure-handler' = 'retry-rejected',   -- 可选的错误处理。可选择 'fail' (抛出异常)、'ignore'(忽略任何错误)、'retry-rejected'(重试)

    'connector.flush-on-checkpoint' = 'true',   -- 可选参数, 快照时不允许批量写入(flush), 默认为 true
    'connector.bulk-flush.max-actions' = '42',  -- 可选参数, 每批次最多的条数
    'connector.bulk-flush.max-size' = '42 mb',  -- 可选参数, 每批次的累计最大大小 (只支持 mb)
    'connector.bulk-flush.interval' = '60000',  -- 可选参数, 批量写入的间隔 (ms)
    'connector.connection-max-retry-timeout' = '300',     -- 每次请求的最大超时时间 (ms)

    'format.type' = 'json'        -- 输出数据格式, 目前只支持 'json'
);
3. 编写业务 SQL
INSERT INTO Student
SELECT
f_sequence   AS user_id,
f_random_str AS user_name
FROM random_source;
4. 选择 Connector

点击【作业参数】,在【内置 Connector】选择 flink-connector-elasticsearch6,点击【保存】>【发布草稿】运行作业。

?新版 Flink 1.13 集群不需要用户选择内置 Connector。其他版本集群请根据实际购买的 Elasticsearch 版本选择对应的 Connector。

5. 数据查询

进入 Elasticsearch 控制台,点击之前购买的 Elasticsearch 实例,点击右上角【Kibana】,进入 Kibana 查询数据。具体查询方法请参考 通过 Kibana 访问集群

总结

本示例用 Datagen 连接器随机生成数据,经过流计算 Oceanus 实现最基础的数据转换功能,最后 Sink 到Elasticsearch 中,用户无需提前在 Elasticsearch 中创建索引。
在这里插入图片描述

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

flink 消费 kafka数据,将结果写入到elasticsearch中 flink 消费kafka数据,将结果写入到elasticsearch中 开发工具:IDEA、JDK1.8 本地开发组件:Kafka、Flink、ElasticSearch 各组件在mac上过程如下: 1. 本地安装下载kafka_2.12-2.2.0 下载kafka:https://kafka.apache.org/quickstart#quickstart_download ... 阅读详情

相关推荐

flink sql 从mysql读数据写入到ElasticSearch实践

背景 主要是实践下从mysql读数据写入到ElasticSearch,以及总结下相关问题和想法 参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/elasticsearch.html 先决条件 添加maven依赖,从mysql读取数据这两个依赖必不可少 <dependency> <groupId>org.apac

pop_xiaohao的专栏 4078

Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

在使用Flink进行数据的处理的时候,一个必要步骤就是需要将计算的结果进行存储或导出,Flink中这个过程称为Sink,官方我们提供了常用的几种Sink Connector,例如:这篇就选取其中一个常用的ElasticsearchSink来进行介绍,并讲解一下生产环境中使用时的一些注意点,以及其内部实现机制。 根据自己所用的filnk版本以及es版本对上面的版本号进行调整 c、扩展配置 经过上面的代码已经实现了一个基础版的EsSink,但是上述代码当ES集群出现波动的时候,由于不具备重试机制则有可能出

weixin_43813200的博客 1932

flink 写入到es_Flink从入门到真香(10、Sink数据输出-Elasticsearch)

目标: 从txt文件中读取数据,写入es,我这里用的es7.9,如果用的es7之前的版本下面代码中有个.type("_doc") 类别需要设置如果没有es和kibana(可选)环境可以先安装安装es7wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.3-x86_64.rpmwget https:/...

weixin_26717737的博客 1186

实时Flink数据流与ApacheElasticsearch集成

1.背景介绍 在现代数据处理领域,实时数据流处理和搜索功能是至关重要的。Apache Flink 和 Apache Elasticsearch 是两个非常受欢迎的开源项目,分别用于实时数据流处理和搜索功能。在本文中,我们将讨论如何将 Flink 与 Elasticsearch 集成,以实现高效、实时的数据流处理和搜索功能。 1. 背景介绍 Apache Flink 是一个流处理框架,用于处理...

AI天才研究院 994

【Flink】使用Flink实现索引数据到Elasticsearch

1.概述 转载:使用Flink实现索引数据到Elasticsearch 建议看原文 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。这两种模式下,输入处理都被抽象为Source Operator,包含对应输入数据的处理逻辑;输出处理都被抽象为Sink Operator,包含了对应输出数据的处理逻辑。这里,我们只关注输出的Sink Operator实现。 .

九师兄 1607

flink实战--数据写入ES(ElasticSearch)

简介 Flink内置了Elasticsearch Connector用于对ES进行数据的操作,里面主要的类是ElasticsearchSink,使用时我们需要实现里面的抽象方法,自定义自己的逻辑。 版本说明: ES版本:6.3.2 flink 1.6.1 需要添加的依赖 <dependency> <groupId>org....

阿华田的博客 1万+

lucene全文检索

要知道什么是全文检索,不得不提数据的分类: 数据的分类 1).结构化数据:格式固定、长度固定、数据类型固定。(数据库中的数 据) 2).非结构化数据:格式不固定、长度不固定、数据类型不固定。(word、ptf、html) 全文检索: 就是创建索引然后搜索索引的过程。 1.创建索引 获取文档 构建文档对象 分析文档 创建索引 2.查询索引 把关键词分装成一个查询对象 执行查询 ...

qq_41935885的博客 249

flink 读取文件数据写入ElasticSearch

flink读取文件数据写到elasticsearch

congge_study的博客 9469

Flink 实时写入数据到 ElasticSearch 性能调优

背景说明 线上业务反应使用Flink消费上游kafka topic里的轨迹数据出现backpressure,数据积压严重。单次bulk的写入量为:3000/50mb/30s,并行度为48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境 elasticsearch 2.3.3 flink 1....

http://www.54tianzhisheng.cn/ 1557

Imatest-Star模块(西门子星图)

星图分析指南:基于ISO12233标准的MTF测试方法,通过放射状射线和正弦灰度变化评估相机SFR性能。

weixin_64706696的博客 1577

433M遥控器无线解码1527协议

433M遥控器无线解码1527协议,定时器轮询法

weixin_58595117的博客 1万+

Flink实时处理并将结果写入ElasticSearch实战

Flink实时处理并将结果写入ElasticSearch实战1 需求分析2 Flink实时处理2.1 版本说明2.2 项目结构2.3 程序代码3 Elasticsearch准备3.1 安装IK Analyzer中文分词器3.2 在Elasticsearch中创建索引4 测试Flink实时处理 1 需求分析 使用Flink对实时数据流进行实时处理,并将处理后的结果保存到Elasticsearch中,...

Java大数据联盟 8872

[ESP32S3N16R8][LVGL8.3.0][IDF5.2.3]ST7701S RGB屏幕驱动[vscode最详细配置]

ST7701S ESP32S3 基于ESP-IDF5.2.3编写,编程环境为vscode。本教程详细讲述了esp32s3配置st7701s屏幕驱动以及gt911触摸驱动并关联到lvgl8.3.0,使用IDF5.23示例rgb_panel进行测试删除了其里面的屏幕驱动,改为单独编写屏幕和触摸驱动,最后完成了实列。

qq_44022379的博客 2609

Flink DataStream写入Elasticsearch与容错

本文基于Flink 1.8 和ES 6.2.4 总结Flink写入Elasticsearch的问题点。 在使用ElasticsearchSink时,需要注意以下几点: ElasticsearchSink内部使用RestHighLevelClient(ES >=6.x)或TransportClient(ES <6.x)与Elasticsearch集群进行通信。 Elasticse...

王佩的优快云博客 8201

用友U8库龄分析避坑指南:物料出入库日期计算的5个常见错误

本文深入剖析了在用友U8系统中进行库龄分析时,物料出入库日期计算的五个常见陷阱。从数据源选择、业务类型过滤、计价方式逻辑、期初数据处理到查询性能优化,逐一解析错误根源并提供避坑指南,帮助企业获得准确的库龄数据,有效管理库存与资金风险。

weixin_29209801的博客 457

校园网改造实录:手把手教你用华为MA5800 OLT调试全光网(附常用排错命令)

本文详细记录了校园全光网改造中华为MA5800 OLT的部署与调试过程,涵盖设备选型、基础配置、ONU批量部署及高频故障排查。通过实战案例和排错命令,帮助网络工程师快速掌握全光网调试技巧,实现低延迟、高稳定的网络性能。

weixin_42552716的博客 578

Flink读取Kafka数据批量写入ES(elasticsearch)

Flink实时消费kafka数据,数据经过处理,富化、清洗等操作,写入ES。在流式计算中,此场景十分常见。 本文采用ES的批量操作BulkProcessor方式,此方式使用的是TransportClient,基于Tcp协议;而rest方式采用的是restClient,基于http协议,并不能保证结果的准确性。 参考 一、依赖准备: 主要依赖: <dependency> <groupId>org.elasticsearch</groupId> <art

泛音青年的博客 6663

英飞凌TC397芯片时钟树详解:从EB-tresos配置到PLL锁相环实战避坑

本文详细解析了英飞凌TC397芯片的时钟树架构,从EB-tresos配置到PLL锁相环的实战应用,帮助工程师避免常见配置陷阱。文章深入探讨了时钟源层、频率转换层和分配网络层的设计原理,提供了PLL配置的数学公式和EB-tresos关键容器的配置要点,并分享了调试技巧与性能优化实践,适用于MCU开发中的时钟管理需求。

weixin_42524226的博客 212

flink 写入到es_Flink写入数据到Elasticsearch示例

List elsearchHosts = new ArrayList<>();elsearchHosts.add(new HttpHost("192.168.32.36", 9200, "http"));elsearchHosts.add(new HttpHost("192.168.32.37", 9200, "http"));elsearchHosts.add(new HttpHos...

weixin_39992831的博客 1497

单细胞实战之数据净化三部曲:细胞周期校正、双胞体剔除与RNA污染清理——技术解析与实战指南

本文深入解析单细胞数据分析中至关重要的数据净化步骤,即细胞周期校正、双胞体剔除与RNA污染清理。通过实战代码演示与原理剖析,指导读者如何有效识别并去除技术噪音,从而获得更纯净、可靠的数据,为后续的细胞分群、差异表达等高级分析奠定坚实基础。

weixin_29274337的博客 207

2026从0到1!C#工控机开发实战指南:新手一周就能跑通的完整项目

这篇文章摘要如下: 工业自动化领域工控机开发入门指南,针对零基础开发者提供从环境搭建到项目实战的全流程指导。文章首先解答工控机开发的3个核心问题,比较工控机与普通PC的区别,推荐使用C#作为开发语言。随后详细讲解开发环境配置、四大核心技术栈(通信协议、数据库、UI框架、多线程),并重点演示Modbus TCP通信的实现。最后通过一个完整的温度监控系统项目实战,展示如何用WPF构建实时数据采集界面,包括Modbus通信类编写、数据采集服务实现等关键代码片段。全文采用图解+代码的方式,帮助开发者快速掌握工控系统

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 706

flink 写入到es_Flink 实时写入数据到 ElasticSearch 性能调优

背景说明线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。本着复现问题进行优化就能解决的思路进行调优测试。测试环境Elasticsearch 2.3.3Flink 1.6...

weixin_36193690的博客 2261

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Flink2ES写入性能调优

这里写自定义目录标题背景说明测试环境rally压测集群性能合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 背景说明 测试环境 ...

dtzly的博客 3351

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

flink 写入到es_Flink输出到Elasticsearch

1.代码import java.utilimport org.apache.flink.api.common.functions.RuntimeContextimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.connectors.elasti...

weixin_39902545的博客 560

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Flink CDC用 TiDB CDC 实时同步数据到 Elasticsearch

本文介绍了如何构建一个实时数据管道,将 TiDB 中的订单和商品数据通过 Flink CDC 同步到 Elasticsearch 进行可视化分析。主要步骤包括: 使用 Docker Compose 部署 TiDB 集群(包含 PD、TiKV、TiDB)、Elasticsearch 和 Kibana 准备 Flink 环境并配置 TiDB CDC 连接器 在 TiDB 中创建商品表和订单表,并插入测试数据 在 Flink SQL 中定义 TiDB CDC 源表和 Elasticsearch Sink 表 通过

hello.reader 1879

Flink写入Elasticsearch(es)问题汇总记录

Flink写入Elasticsearch问题汇总 1、报错信息: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: mapping source must be pairs of fieldnames and properties definition. at org.apache.flink.client.program.PackagedProgram.callMain

qq_38558851的博客 4010
上一篇: Flink 实践教程:入门(1):零基础用户实现简单 Flink 任务
下一篇: Flink 实践教程:入门(3):读取 MySQL 数据
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值