<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_74903429的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_74903429</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_74903429]]></copyright><item><title><![CDATA[SQL的四种定义]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/153470429</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/153470429</guid><author>m0_74903429</author><pubDate>Fri, 17 Oct 2025 15:12:49 +0800</pubDate><description><![CDATA[数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、和修改三种操作。DDL不需要commit. eg.包括对基本表和视图的授权，完整性规则的描述，事务控制等内容。用于定义SQL模式、基本表、视图和索引的创建和撤消操作。DML需要commit.涉及到SQL语句嵌入在宿主语言程序中使用的规则。SAVEPOINT 设置保存点,ROLLBACK  回滚,REVOKE 取消授权。]]></description><category></category></item><item><title><![CDATA[关系代数运算符]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/153344072</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/153344072</guid><author>m0_74903429</author><pubDate>Wed, 15 Oct 2025 20:38:39 +0800</pubDate><description><![CDATA[如：π sname,rating (σ rating>8 (S2）)相当于 select sname, rating from S2 where rating>8;distinct， 表示选择哪些列。如：σ rating>8 (S2）相当于 select * from S2 where rating>8;（x， cross-product）相当于SQL语句中的from，表示穷举所有集合两边元素的组合量。（σ， selection）相当于SQL语句中的where，表示选出满足一定条件的行。]]></description><category></category></item><item><title><![CDATA[Flume中的小文件问题]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/130711999</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/130711999</guid><author>m0_74903429</author><pubDate>Tue, 16 May 2023 19:10:17 +0800</pubDate><description><![CDATA[在Flume的官方文档中可以看出, flume是存在小文件问题的(默认10个Event,或者1kb在Hdfs上创建一个文件;]]></description><category></category></item><item><title><![CDATA[Phoenix如何进行初始化?]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/130278587</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/130278587</guid><author>m0_74903429</author><pubDate>Fri, 21 Apr 2023 00:22:59 +0800</pubDate><description><![CDATA[(进入zookeeper目录下,进入bin目录,这里会有zkCli.sh脚本,该脚本是启动zk客户端的),(web端也就是core-site.xml文件的所配置的端口号,我这里配置的为9870),,该目录下存放的是hbase大量的启动生成配置信息,不算核心数据。1.首先,因为Hbase是基于Hadoop组件的,所以先在。2. Hbase需要zookeeper实时进行监控,所以。3. 重启hbase,尝试重新连接Phoenix。了(可以采用delete hbase命令)hdfs的web端/目录下。]]></description><category></category></item><item><title><![CDATA[FlinkSQl]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/130231774</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/130231774</guid><author>m0_74903429</author><pubDate>Tue, 18 Apr 2023 21:30:34 +0800</pubDate><description><![CDATA[区别:executeSQL直接执行sql语句的接口,接口返回的是一个TableResult 
    executeSQL追踪整个接口调用流程
SQLQuery不会真正的执行SQL语句,需要后续调用Table#execute()才会真正执行,接口返回的是一个Table表对象~executeSQL: 返回TableResult结果集
~SQLQuery: 返回Table表对象]]></description><category></category></item><item><title><![CDATA[有关FlinkAPI如何使用IntervalJoin]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/130208578</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/130208578</guid><author>m0_74903429</author><pubDate>Tue, 18 Apr 2023 10:56:22 +0800</pubDate><description><![CDATA[3. 需求: 源数据从指定的端口中获取, 分别创建员工流数据和部门流数据, 并指定水位线以及提取事件时间字段(流处理环境和并行度略过,该案例的并行度为方便测试设置为1)~~~ 关于IntervalJoin时是哪条流join哪条流,这两条流的先后顺序没有区别,也不会发生数据重复, 因为调用IntervalJoin在底层底层实现的双向调用。~~~ 采用IntervalJoin进行关联,IntervalJoin的前提是两条流的数据都需要先进行keyby分组,这里是按照部门编号分组的。1. 准备一个员工实体类。]]></description><category></category></item><item><title><![CDATA[[ERR] 1273 - Unknown collation: ‘utf8mb4_0900_ai_ci‘]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/130109941</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/130109941</guid><author>m0_74903429</author><pubDate>Wed, 12 Apr 2023 18:17:26 +0800</pubDate><description><![CDATA[生成转储文件的数据库版本和要导入sql文件的数据库版本不兼容, 由高版本到低版本,引起1723错误。保存后再次运行sql文件，运行成功。打开sql文件，将文件中的所有。]]></description><category></category></item><item><title><![CDATA[flink小点]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129936042</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129936042</guid><author>m0_74903429</author><pubDate>Mon, 03 Apr 2023 18:15:23 +0800</pubDate><description><![CDATA[max/min/maxby/minby/sum操作。keyby之后的操作叫做。开窗以后的这些操作叫做。]]></description><category></category></item><item><title><![CDATA[Flink中max maxby区别]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129852055</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129852055</guid><author>m0_74903429</author><pubDate>Thu, 30 Mar 2023 10:13:28 +0800</pubDate><description><![CDATA[取指定字段的当前的最大值，如果有多个字段，其他字段以最大值那条数据为准；：取指定字段的当前的最小值，如果有多个字段，其他字段以最大值那条数据为准；：取指定字段的当前的最大值，如果有多个字段，其他非比较字段，以第一条为准。：取指定字段的当前的最小值，如果有多个字段，其他非比较字段，以第一条为准。]]></description><category></category></item><item><title><![CDATA[IDEA三种依赖的生效范围]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129657966</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129657966</guid><author>m0_74903429</author><pubDate>Sun, 19 Mar 2023 22:36:47 +0800</pubDate><description><![CDATA[provided: 对主程序和测试程序有效. 不参与打包(因为依赖是已经提供了的) 只在编译期间有效。test: 对测试程序有效. 不参与打包。compile: 对主程序和测试程序有效. 参与打包。]]></description><category></category></item><item><title><![CDATA[水位线的特点]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129417791</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129417791</guid><author>m0_74903429</author><pubDate>Thu, 09 Mar 2023 10:26:02 +0800</pubDate><description><![CDATA[``一个水位线, 表示当前时间已经达到了这个时间戳t,代表t时间之前的数据到齐了不会再出现小于这个时间戳的数据。```水位线的内容就是一个时间戳,表示当前事件时间的进展。```水位线可以设置延迟保证正确处理乱序数据。```水位线是插入到数据流的一个标记。```水位线是基于数据的时间戳生成的。```水位线的时间戳必须单调递增。]]></description><category></category></item><item><title><![CDATA[Flink并行度优先级]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129389062</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129389062</guid><author>m0_74903429</author><pubDate>Tue, 07 Mar 2023 19:15:06 +0800</pubDate><description><![CDATA[默认的最大并行度是近似于operatorParallelism + (operatorParallelism / 2)，下限是127，上线是32768.并行度改变会影响任务划分，进而影响task数量，如果taskslots数量不满足要求，会导致任务没有足够的资源分配。setParallelism()设置的并行度需要小于.setMaxParallelism()设置的最大并行度。某些算子无法设置并行度，如socketTextStream。1.代码中设置setParallelism()]]></description><category></category></item><item><title><![CDATA[Flink提交流程总结]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129385857</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129385857</guid><author>m0_74903429</author><pubDate>Tue, 07 Mar 2023 17:17:20 +0800</pubDate><description><![CDATA[Yarn的ResourceManager启动TaskManager, TaskManager会启动一个TaskExecutor, 并向ResourceManager注册slot, ResourceManager收到TaskManager的请求之后会给TaskExecutor返回分配的slot, TaskExecutor给JobManager提供slot, JobManger向TaskExecutor提交执行。JobMaster: 是JobManager中最核心的组件。注: YarnClient: 客户端。]]></description><category></category></item><item><title><![CDATA[Flink运行时架构]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129371222</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129371222</guid><author>m0_74903429</author><pubDate>Tue, 07 Mar 2023 16:48:22 +0800</pubDate><description><![CDATA[客户端的工作原理: 调用程序的main()方法,将代码转换成"数据流图",并且最终生成作业图,一并发送给JM. 提交之后,任务的执行和客户端就没关系了.当然客户端是否断开与JM的连接是可以选择的,也可以让继续保持连接.客户端可以随时连接到JobManager，获取当前作业的状态和执行结果，也可以发送请求取消作业。所以JobMaster和具体的Job是一一对应的，多个Job可以同时运行在一个Flink集群中, 每个Job都有一个自己的JobMaster。:客户端不属于处理系统的一部分,只负责作业的提交.]]></description><category></category></item><item><title><![CDATA[Flink模式]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129365436</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129365436</guid><author>m0_74903429</author><pubDate>Mon, 06 Mar 2023 20:27:35 +0800</pubDate><description><![CDATA[如果TaskManager进程异常退出,JobManager会收到消息并且重新向Yarn ResourceManager 申请资源,重新启动TaskManager。4.TaskManager启动一个线程开始执行. TaskManager会向JobManager报告状态更改,比如开始执行, 正在执行或者已经完成。3.JobManager负责协调资源和作业执行. 资源分配完成之后,任务将提交给相应的TaskManager。3.flink on yarn 有三种模式:会话模式,但作业模式,应用模式。]]></description><category></category></item><item><title><![CDATA[自定义函数]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/128906666</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/128906666</guid><author>m0_74903429</author><pubDate>Fri, 03 Mar 2023 21:58:22 +0800</pubDate><description><![CDATA[标量函数: UDF 表示一对一,比如一个小写字母c对应一个大写字母C

表值函数: UDTF 表示一对多,一行数据转换为多行数据

聚合函数": UDAF 表示多对一,多行数据转换为一条数据


]]></description><category></category></item><item><title><![CDATA[kafka副本概念]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129263011</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129263011</guid><author>m0_74903429</author><pubDate>Tue, 28 Feb 2023 15:35:26 +0800</pubDate><description><![CDATA[​​副本数是2，意思是有2个分区，1个是主分区，1个是从分区​​，​​副本数已把主分区数包含在内。副本数是1 ，意思是就一个分区，同时也是主分区。]]></description><category></category></item><item><title><![CDATA[Kafka生产者发消息流程]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129248666</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129248666</guid><author>m0_74903429</author><pubDate>Mon, 27 Feb 2023 21:21:12 +0800</pubDate><description><![CDATA[如果Record中的key不为null,默认情况下是根据key的哈希值来确定把消息发送到哪个分区中,相当于只要是key相同的消息都始终会发送到同一个分区中;如果是Record中的key为null,就会使用轮询的分区策略,通过轮询的分区策略来平衡每个分区中的数据。1.kafka生产者会将发来的消息封装为一个record,没有的话就采取粘性分区随机发送其中一个分区。]]></description><category></category></item><item><title><![CDATA[spark任务的提交流程]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129247186</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129247186</guid><author>m0_74903429</author><pubDate>Mon, 27 Feb 2023 18:41:53 +0800</pubDate><description><![CDATA[第三步,因为在用户代码中,RDD算子会设计大量的转换操作,然后会通过一个动作(action)操作,触发任务的真正执行,在这里会按照RDD与RDD之间的依赖关系,首先会生成一个DAG的有向无环图,图的方向就是RDD算子的操作顺序,最终会将RDD DAG有向无环图发送给DAGScheduler对象;Master收到申请资源的请求后,向指定的worker节点发送请求,然后worker节点会开启对应的executor的进程。Executor进程会向driver发送注册请求,然后申请要计算的task。]]></description><category></category></item><item><title><![CDATA[HDFS写数据的流程]]></title><link>https://blog.youkuaiyun.com/m0_74903429/article/details/129184334</link><guid>https://blog.youkuaiyun.com/m0_74903429/article/details/129184334</guid><author>m0_74903429</author><pubDate>Fri, 24 Feb 2023 14:54:25 +0800</pubDate><description><![CDATA[~~因为数据以管道的方式,顺序的沿着一个方向进行传输,这样能够充分利用每个机器的带宽,避免网络瓶颈和高延迟的连接,最小化推送所有数据的延时。~~~其次,在线性推送模式之下,每台机器所有的出口宽带都用于以最快的方式传输数据,,而不是多个接受者之间分配宽带。~~~ack是确认字符,数据通信中接收方给发送方的一种传输类控制字符,表示发来的数据已确认接收无误。~~~在pipeline管道传输过程中,传输的反方向会进行ACK校验,确保数据传输安全。1.Pipeline管道。]]></description><category></category></item></channel></rss>