- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 FLINK集成HUDI实战
1.说明1.环境依赖flink版本：flink-1.13.0flink-cdc版本：2.1.0hudi版本：2.11-0.10.0hive版本：3.1.02.使用过程中FLINK中的包3.过程记录注意1.我这里读取的是Oracle的实时数据，所以需要开通Oracle的附加日志2.hudi目前需要自己去编译，也可以在社区中找你想要的包或者直接下载HUDI包下载3.cdc我这边因为读取的是Oracle所以用的是2.1.0，cdc版本和flink版本对比 开搞1.启动flin
2022-01-27 17:08:39
2600
原创 flinksql实现Oracle CDC获取实时数据
测试环境：1.flink版本：1.13.02.Oracle版本：12c3.Oracle CDC：2.1.0
2021-12-20 10:35:14
9222
4
原创 flink通过binlog实现mysql为数据源的实时计算
前提条件1.开通了mysql的binlog2.有flink的环境需要的依赖包 <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>1.3.0</version>
2021-05-28 14:31:19
5778
原创 dataway自定义切换数据源
dataway自定义切换数据源实现SpringModule实现LookupDataSourceListener实现CompilerSpiListener实现SpringModuleimport net.hasor.core.ApiBinder;import net.hasor.core.DimModule;import net.hasor.core.TypeSupplier;import net.hasor.dataql.fx.db.LookupDataSourceListener;import
2021-04-11 15:13:43
5614
2
原创 flink通过连接hive的元数据管理自己的元数据表
首先感谢https://blog.youkuaiyun.com/zhangdongan1991/article/details/105582712的分享。现在的我需要创建或管理很多元数据表，每次都写在代码里面或者配置里面不是很方便。所有就想着有没有一种可以管理flink元数据的办法，最终在官方文档找到了头绪：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_catalog.html结合上面博主的说明最终成
2021-03-11 16:00:03
5830
2
原创 aes加密工具类
import javax.crypto.*;import javax.crypto.spec.SecretKeySpec;import java.io.UnsupportedEncodingException;import java.security.InvalidKeyException;import java.security.NoSuchAlgorithmException;import java.security.SecureRandom;public class AesUtil {
2021-02-23 09:40:20
5186
原创 springboot使用webSocket实现主动推送消息到前端
后端代码实现一个webSocket的服务端，消息精准推送和批量推送代码如下：@ServerEndpoint(value = "/websocket")@Component@Slf4jpublic class WebSocketServer { // 静态变量，用来记录当前在线连接数。应该把它设计成线程安全的。 private static int onlineCount = 0; private static Map<String, CopyOnWriteArrayS
2021-02-18 14:30:02
6662
原创 flink中的join,coGroup和intervalJoin
1.joinDataStream<String> apply = infoDataStream.join(infoDataStream1).where(info -> info.getOrder_no()).equalTo(in -> in.getRequestId()) .window(TumblingProcessingTimeWindows.of(Time.seconds(10))) .apply(new Joi
2020-12-09 14:32:59
8591
原创 flink连接mysql
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, EnvironmentSettings.newInstance() .useBlinkPlanner() .inStreami
2020-12-09 14:28:08
8872
原创 flink流处理kafka和三方数据
场景：用户请求信息通过kafka到flink计算引擎，flink拿到请求信息后去查询三方数据处理，数据处理完成后把处理结果放回到kafka中。这里三方数据源两种：1.mysql数据源2.http三方接口项目地址：https://github.com/1105748319/flinkDemoTest.git下面直接上代码：主要的类：package com.flink;import org.apache.flink.streaming.api.datastream.DataStream;imp
2020-12-07 10:23:28
8342
原创 flink1.11.2中Table & SQL连接kafka
#flink连接kafka并读取数据前提条件flink版本1.11.2直接上代码import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.
2020-11-30 10:21:25
9355
原创 flink1.11.2连接hive数据库
#flink连接hive并读取数据前提条件已经有Hadoop和hive的环境flink版本1.11.2设置hive-site.xml#修改hive-site.xml文件如下，此文件不是修改hive安装目录下面的文件而是你项目启动的环境直接拷贝hive下面的过来修改了一样的<configuration><property><name>hive.metastore.uris</name><value>thrift://192.1
2020-11-30 10:04:40
9021
1
原创 flink独立集群部署
#flink独立集群部署说明安装环境三台服务器47.106.23.1（master）47.112.173.2（worker1）47.115.162.3 （worker1）提前装好jdk和ssh,以下操作最好不要用root账号提前下载好flink的包并解压设置三台服务器之间ssh免密登录生成本机秘钥以47.106.23.1为例（其他两台参考本服务器）#生成本机秘钥cd ;ssh-keygen -t rsa -P "" 回车到看到如下信息The key fingerprint
2020-11-27 10:41:20
8438
原创 K8S的单节点部署
部署前准备(需要root账号)节点主机名唯一，建议写入/etc/hosts禁止swap分区关闭防火墙root@haishu:/home/haishu# hostnamectl set-hostname k8s-masterroot@haishu:/home/haishu# tail /etc/hosts127.0.1.1 haishu-System-Product-Name# The following lines are desirable for IPv6 capable hosts
2020-10-29 14:39:51
8496
2
原创 docker安装prestodb大数据查询引擎
docker安装prestodb大数据查询引擎安装条件docker镜像下载特殊说明： Catalog安装条件 1.dockerdocker镜像下载我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：下载地址： prestodb-sandbox执行下载镜像命令：sudo docker pull ahanaio/prestodb-sandbox查看镜像是否下载成功：sudo docker im
2020-10-20 14:35:38
8358
2
原创 presto和Dataway的无缝衔接
话不多说直接上代码package com.hualongdata.dataway.config;import com.alibaba.druid.pool.DruidDataSource;import com.hualongdata.dataway.common.BusinessException;import com.hualongdata.dataway.entity.BusiDbCfg;import com.hualongdata.dataway.service.BusiDbCfgSer
2020-09-24 17:18:54
8055
flink-connector-redis_2.11-1.0.jar
2021-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人