Flink
关注
分享
扫一扫
dingleilovewanping
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
flink程序打包上传yarn
原创 2021-07-05 14:56:56 · 377 阅读 · 0 评论 -
阿里云maxcompute dataHubSourceFunction和dataHubSinkFuncation scala版本
package com.alibaba.flink.connectors.datahub.datastream.flink import com.alibaba.flink.connectors.datahub.datastream.sink.{DatahubRecordResolver, DatahubSinkFunction} import com.aliyun.datahub.client...原创 2020-03-04 17:15:01 · 1013 阅读 · 0 评论 -
Flink从HBase通过抽取数据进行计算再存入HBase
业务场景：Flink从HBase中抽取增量的数据，IP_COPYRIGHT_SOFTWARE_LIST有一条新的记录产生时，清洗出COMPANY_ID,IP_SOFRWARE_ID外连接IP_COPYRIGHT_SOFTWARE, 判断USE_FLAG是否为0，不为零则不累加计算每次用COMPANY_ID 去IP_COPYRIGHT_SOFTWARE_LIST表里做统计IP-SOFTWARE_ID...原创 2019-12-23 10:15:50 · 1433 阅读 · 4 评论 -
Flink
Apache Flink 概述 Flink 是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案 第一代大数据处理方案：基于Hadoop的MapReduce 静态批处理 | Storm 实时流计算 ，两套独立的计算引擎，难度大（2014年9月） 第二代大数据处理方案：Spark RDD 静态批处理、Spark Streaming（DStream）实时流计算（实时性差...原创 2019-11-10 00:17:55 · 791 阅读 · 0 评论