- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink Table 读写Hbase
Flink Table 读写Hbase1、获取表环境2、创建Hbase表连接3、Hbase读取计算和写入3.1利用Flink SQL读取Hbase明细表和计算3.2写入Hbase聚合表4、pom5、demo代码1、获取表环境批处理为例 // 批执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();// StreamExecutionEnvironment
2021-10-09 18:08:30
1590
原创 关于dorisdb 本地搭建virtual_box虚拟机设置CPU支持AVX2指令集
关于dorisdb设置CPU支持AVX2指令集dorisdb安装文档要求解决办法处理异常问题1：解决方案：问题2：解决方案：注意：dorisdb安装文档要求https://docs.dorisdb.com/zh-cn/main/quick_start/Deploy解决办法Intel VT-x和AMD-V是intel和amd支持x86虚拟化技术的相应cpu指令集。virtual box或者Vmware 开启VT-x和AMD-V，可以使CPU支持AVX2指令集处理异常问题1：启用嵌套VT-x
2021-09-16 15:57:52
6744
转载 [转载]深度对比delta、iceberg和hudi三大开源数据湖方案
https://zhuanlan.zhihu.com/p/110748218
2021-09-15 11:13:28
347
原创 实时数仓实践（二）OGG同步到kafka
引用：https://blog.youkuaiyun.com/qq_31312071/article/details/116056488ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。身份hostname组件和版本IPOGG版本源端db-oracleoracle11g192.168.10.101row 1 col 2目标端linux121kaf
2021-09-06 10:57:15
3177
原创 实时数仓实践（一）之数据库实时增量同步工具-CDC（Change Data Capture）
数据库实时增量同步工具-CDC（Change Data Capture）Canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机 房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生 出了增量订阅&消费的业务。Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL 的binlog解析，解析完成后才利用Canal
2021-08-12 15:49:08
5721
原创 Flink导包maven说明随笔2021-08-07
Flink导包maven说明随笔maven坐标maven 资源搜索网站：maven坐标 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch7_2.12</artifactId> <version>1.11.1</v
2021-08-07 09:30:41
250
原创 【问题解决】org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory
【问题解决】org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory问题描述解决办法问题描述acitivity创建ProcessEngineConfiguration对象时报错/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home/bin/java -ea -Didea.test.cyclic.buffer.size=10
2020-05-19 18:00:32
2705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人