
flink
文章平均质量分 70
ycjunhua
这个作者很懒,什么都没留下…
展开
-
Apache paimon表操作实战-5
如果Orders(主表)的记录Join缺失,因为customers(查找表)对应的数据还没有准备好。Paimon支持Lookup Join语法,它用于从 Paimon 查询的数据来补充维度字段。要求一个表具有处理时间属性,而另一个表由查找源连接器支持。Lookup Join算子会在本地维护一个RocksDB缓存并实时拉取表的最新更新。查找连接运算符只会提取必要的数据,因此您的过滤条件对于性能非常重要。Paimon 支持 Flink 中具有主键的表和append-only的表查找联接。以下示例说明了此功能。原创 2024-10-25 00:09:37 · 356 阅读 · 0 评论 -
Apache paino DML操作实战
插入的行可以由值表达式或查询结果指定,跟标准的sql语法一致。(5)案例四: 使用--source-sql创建新catalog下的源表,匹配ws_t的id,没匹配上的插入ws_t。(3)案例二: ws_t与ws1匹配id,匹配上的将ws_t中vc加10,ws1中没匹配上的插入ws_t中。(4)案例三: ws_t与ws1匹配id,ws_t中没匹配上的,ts大于4则vc加20,ts=4则删除。(2)案例一: ws_t与ws1匹配id,将ws_t中ts>2的vc改为10,ts原创 2024-10-23 11:58:26 · 324 阅读 · 0 评论 -
Apache Paimon Catalog
通过使用Hive Catalog,对Catalog的更改将直接影响相应的hive metastore。通过使用Hive Catalog,对Catalog的更改将直接影响相应的hive metastore。使用hive Catalog通过alter table更改不兼容的列类型时,参见 HIVE-17832。上述配置需要在hive-site.xml中配置,且hive metastore服务需要重启。上述配置需要在hive-site.xml中配置,且hive metastore服务需要重启。原创 2024-10-22 15:45:05 · 658 阅读 · 0 评论 -
FLINK HADOOP_CLASSPATH设置,java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
将你所需的jar包复制到刚创建的lib目录中。在Hadoop中,我们可以通过在lib目录下存放所需的jar包来使其可供Hadoop集群使用。首先,你需要确定Hadoop的安装目录。假设Hadoop安装在/usr/local/hadoop目录下。在Hadoop的安装目录下,创建一个名为lib的目录。第三步: 将所需的jar包复制到lib目录。第一步: 确定Hadoop的安装目录。第三步:将所需的jar包复制到lib目录。第一步:确定Hadoop的安装目录。2. 具体步骤及代码解释。原创 2024-10-22 02:15:54 · 508 阅读 · 0 评论 -
apache flink+starrack+paino 打造流批一体数据仓库
创建完表,可以登录 minio:9001地址进行查看数据文件;原创 2024-10-18 16:26:52 · 617 阅读 · 0 评论 -
Ambari-2.7.4和HDP-3.1.4安装(附Ambari和HDP安装包)
1.、环境及软件准备Ambari-2.7.4和HDP-3.1.4下载 ,提取码:3rwq环境:CentOS7(我这里使用的是CentOS7.9版本)、三台虚拟机,单节点内存13GB、存储80GB软件:mysql5.7+、jdk8、ambari-2.7.4.0-centos7.tar.gz、HDP-3.1.4.0-centos7-rpm.tar.gz、HDP-UTILS-1.1.0.22-centos7.tar.gz1、主机名配置查看hostname2、配置服务器之间免密登录。原创 2024-10-17 14:59:13 · 915 阅读 · 0 评论 -
RPC简单介绍
这个Rpc框架中有诸如RpcServer、RpcService、RpcSystem、RpcEndpoint等⼤量设计封装;⽐如在A的某个模块类ModuleA中,调⽤远程系统B的模块ModuleB的某⽅法如f1。狭义上的RPC,则特指A系统在调⽤B系统功能时,看起来就像在调⽤本地系统的功能;RPC:远程过程调⽤(Remote Procedure Call);⼴义上的远程过程调⽤,代指任意两个系统之间的功能调⽤;Rpc框架,来为模块间远程功能交互提供⽀撑;原创 2024-04-09 17:30:01 · 409 阅读 · 0 评论 -
flink源码编译-job提交
添加如下配置(主要就是taskmanager的各项内存配置,可根据⾃⼰的情况进⾏修改)找到项⽬根⽬录下的conf,打开其中的flink-conf.yaml。standalone集群中的taskmanager启动类为。启动standalone集群的taskmanager。就⼀个关于⽇志的配置稍微修改⼀下(⽇志⽂件的名称)6.3 修改flink-conf.yaml配置⽂件。基本完全按照master运⾏配置进⾏即可;2 打开master启动类。原创 2024-04-04 12:31:24 · 849 阅读 · 0 评论 -
flink1.18源码编译后standalone模式-master启动
•在项⽬根⽬录下,创建如下两个⽂件夹:•找到如下⼦模块,并展开如图•将上图中conf下的⽂件,拷⻉到项⽬根⽬录下创建的conf下•将上图中的lib下的jar包,拷⻉到项⽬根⽬录下创建的distlib下。原创 2024-04-04 02:16:17 · 921 阅读 · 0 评论 -
flink1.18源码本地调试环境
01 源码本地调试环境搭建01 源码本地调试环境搭建1.从github拉取源码创建本地项⽬可以拉取github上官⽅代码2.配置编译环境ctrl+alt+shift+s (或菜单)打开项⽬结构,确保jdk版本为1.8,scala版本最好为2.12.73.源码编译跳过调试。原创 2024-04-04 00:07:07 · 1524 阅读 · 0 评论