- 博客(458)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Flink SQL维表JOIN与异步优化
使用 JOIN 当前维表功能需要注意的是，如果维表插入了一条数据能匹配上之前左表的数据时，JOIN的结果流，不会发出更新的数据以弥补之前的未匹配。在使用维表 JOIN 时，如果维表数据不大，或者 miss key （维表中不存在的 key）非常多，则可以使用 ALL cache，但是可能需要适当调大节点的内存，因为内存需要能同时容纳下两份维表拷贝。的关键字，其含义是每条到达的数据所关联上的是到达时刻的维表快照，也就是说，当数据到达时，我们会根据数据上的 key 去查询远程数据库，拿到匹配的结果后关联输出。
2025-04-02 13:50:56
971
原创 ClickHouse 学习笔记
的引擎），你将无法直接通过删除操作来实现这一目标。ClickHouse 是为大规模数据分析设计的，它的主要特点是不可变性，即一旦数据被写入后不易修改或删除。2. 在 ClickHouse 中，如果你想要单独删除一行记录，且使用的是。表会映射到一个或多个本地表，删除数据时可以在这些本地表上操作。表，你可以通过查找其本地表进行删除操作。1. 连接到 ClickHouse 服务器。表引擎（或者其他不支持。例如，假设你的本地表为。
2025-03-12 18:13:02
232
原创 Monash FIT全套课程资料（全网最全）
全网最全最详细的Monash课程学习学习资料，包括上课课间、每周的quiz、ass、期末复习笔记、期末真题，有需要的可以联系我哈～
2025-03-05 16:06:32
399
原创 （九）状态管理
Flink的状态有两种：托管状态（Managed State）和原始状态（Raw State）。托管状态就是由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现，我们只要调接口就可以；而原始状态则是自定义的，相当于就是开辟了一块内存，需要我们自己管理，实现状态的序列化和故障恢复。通常我们采用Flink托管状态来实现需求。
2025-02-08 14:50:11
741
原创 （七）Flink中的时间和窗口
1.4.1 时间窗口1.4.2 计数窗口1.5.1 增量聚合函数（ReduceFunction / AggregateFunction）1.5.2 全窗口函数（full window functions）1.5.3 增量聚合和全窗口函数的结合使用
2025-01-23 17:42:52
979
原创 （六）DataStream API
DataStream API是Flink的核心层API。一个Flink程序，其实就是对DataStream的各种转换。
2025-01-23 14:27:14
1000
原创 （五）Flink运行时架构
很显然，TaskManager的计算资源是有限的，并行的任务越多，每个线程的资源就会越少。一个数据流在算子之间传输数据的形式可以是一对一（one-to-one）的直通（forwarding）模式，也可以是打乱的重分区（redistributing）模式，具体是哪一种形式，取决于算子的种类。在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。在这种模式下，数据流的分区会发生改变。
2025-01-23 12:00:23
1278
原创 （四）Flink 运行模式
运行Flinkjob的集群一旦停止，只能去yarn或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的WebUI，很难清楚知道作业在挂的那一刻到底发生了什么。客户端可以自行确定JobManager的地址，也可以通过-m或者-jobmanager参数指定JobManager的地址，JobManager的地址在YARNSession的启动页面中可以找到。在YARN环境中，由于有了外部平台做资源调度，所以我们也可以直接向YARN提交一个单独的作业，从而启动一个Flink集群。
2025-01-17 17:48:37
956
原创 （三）Flink部署
打包完成后，在target目录下即可找到所需JAR包，JAR包会有两个，FlinkTutorial-1.0-SNAPSHOT.jar和FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar，因为集群中已经具备任务运行所需的所有依赖，所以。（1）任务打包完成后，我们打开Flink的WEBUI页面，在右侧导航栏点击“SubmitNewJob”，然后点击按钮“+AddNew”，选择要上传运行的JAR包，如下图所示。
2025-01-17 17:38:26
683
原创 Ncat: bind to :::7777: Address already in use报错问题解决
【代码】Ncat: bind to :::7777: Address already in use报错问题解决。
2025-01-17 15:25:54
404
原创 （二）Flink快速上手-WordCount代码编写
的存在，在某些特殊情况下（比如Lambda表达式中），自动提取的信息是不够精细的——只告诉Flink当前的元素由“船头、船身、船尾”构成，根本无法重建出“大船”的模样；需要注意的是，这种代码的实现方式，是基于DataSet API的，也就是我们对数据的处理转换，是看作数据集来进行操作的。对于Flink而言，流才是整个处理逻辑的底层核心，所以流批统一之后的DataStream API更加强大，可以直接处理批处理和流处理的所有场景。下面我们就针对不同类型的输入数据源，用具体的代码来实现流处理。
2025-01-16 16:21:06
952
原创 Flink报错java.lang.IllegalStateException: No ExecutorFactory found to execute the application
【代码】Flink报错java.lang.IllegalStateException: No ExecutorFactory found to execute the application。
2025-01-16 14:57:13
375
原创 Kafka消费者
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是Kafka从0.11.x版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。1）需求设置主题为first，7个分区；准备3个消费者，采用粘性分区策略，并进行消费，观察消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。2）步骤（1）修改分区分配策略为粘性。
2025-01-15 16:36:16
1380
原创 Kafka Broker
生产环境中，leader重选举的代价比较大，可能会带来性能影响，建议设置为false关闭。，同样的磁盘，顺序写能到600M/s，而随机写只有100K/s。强制页缓存刷写到磁盘的条数，默认是long的最大值，9223372036854775807。（7）再次查看/kafka/brokers/topics/first/partitions/0/state路径上的数据。（3）查看/kafka/brokers/topics/first/partitions/0/state路径上的数据。
2025-01-15 16:01:05
925
原创 Flink链接Kafka
二、基于 Flink 的 Kafka 消息消费者设置 Flink 执行环境：启用检查点机制：配置 Kafka 属性：创建 Kafka 消费者：将 Kafka 消费者添加到 Flink 数据流：启动 Flink 作业：2.2 消费多个Topic 设置 Flink 执行环境：启用检查点机制：配置 Kafka 属性：定义 Kafka Topic 列表：创建 Kafka 消费者：将 Kafka 消费者添加到 Flink 数据流：启动 Flink 作业：2.3 消费Topic的总体代码2.
2025-01-15 11:56:42
1288
原创 SpringBoot链接Kafka
（1）修改SpringBoot核心配置文件application.propeties, 添加生产者相关信息。（1）修改SpringBoot核心配置文件application.propeties。（2）创建controller从浏览器接收数据, 并写入指定的topic。（2）创建类消费Kafka中指定topic的数据。（3）在浏览器中给/atguigu接口发送数据。（3) 向WJ-TEST主题发送数据。
2025-01-14 15:09:09
608
原创 Kafka概述
Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
2025-01-13 14:36:55
419
原创 Kafka常用命令
注意：因为此kafka是加了认证的，必须先读取认证文件里的密码才能查看topics, 如下是认证文件的代码：--command-config ./config/scram_common.properties。该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（的 Topic 中生产消息。
2025-01-13 12:01:45
771
原创 如何进行到Docker容器中运行Kafka
2. 执行docker exec -it bbd bin/bash进入到docker中。3. 进入到/opt/bitnami/kafka/bin中执行kafka脚本。1.docker ps 找到CONTAINER ID 去前三位。
2025-01-10 17:51:31
120
原创 ClickHouse vs StarRocks 选型对比
ClickHouse 是由俄罗斯的第一大搜索引擎Yandex公司开源的列存数据库。令人惊喜的是，ClickHouse 相较于很多商业MPP 数据库，比如 Vertica，InfiniDB 有着极大的性能提升。除了 Yandex 以外，越来越多的公司开始尝试使用 ClickHouse 等列存数据库。对于一般的分析业务，结构性较强且数据变更不频繁，可以考虑将需要进行关联的表打平成宽表，放入 ClickHouse 中。配置丰富，只依赖与Zookeeper线性可扩展性，可以通过添加服务器扩展集群。
2025-01-10 10:43:39
1535
原创 YARN资源调度器
在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，YARN提供了多种调度器和可配置的策略供选择。FIFO Scheduler（先进先出调度器） ，Capacity Scheduler（容量调度器），Fair Scheduler（公平调度器）。默认情况下，Apache版本YARN使用的是Capacity调度器。如果需要使用其他的调度器，可以在yarn-site.xml中的进行配置，具体的配置方式如下：在YARN中，有。
2025-01-09 16:08:33
839
原创 YARN WebUI 服务
或点击页面左侧Tools栏目中的红线框configuration链接会打开JHS的所需配置页面，在配置页面中，主要有集群自定义配置（core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml）和集群默认配置（core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml）两种。当点击任意一个应用程序时，会打开一个新页面，并展示这个应用程序的运行信息。
2025-01-09 15:09:21
1203
原创 YARN 架构组件及原理
YARN（Yet Another Resource Negotiator，另一种资源协调者） 是 Hadoop 2.0 中的资源管理系统，它的基本设计思想是。其中 ResourceManager 负责整个系统的资源管理和分配，而 ApplicationMaster负责单个应用程序的管理。一个全局的资源管理器 ResourceManager 和每个应用程序特有的ApplicationMaster。
2025-01-09 11:09:20
502
原创 YARN 集群
Apache Hadoop YARN是一个标准的Master/Slave集群（主从架构）。其中ResourceManager（RM） 为Master， NodeManager（NM） 为 Slave。常见的是一主多从集群，也可以搭建RM的HA高可用集群。
2025-01-09 10:57:33
1070
原创 Apache Hadoop YARN框架概述
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器。YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。如何理解通用资源管理系统和调度平台？资源管理系统：集群的硬件资源，和程序运行相关，比如内存、CPU等。调度平台：多个程序同时申请计算资源如何分配，调度的规则（算法）。
2025-01-09 09:52:42
911
原创 Royal TSX许可证密钥(6.x后所有版本都可以用)
强大的远程连接管理工具，支持各种连接类型，包括RDP、VNC、基于SSH的终端连接、SFTP/FTP/SCP以及基于网页的连接管理。Royal TSX 6.x任意版本最新版激活码许可证。
2025-01-08 17:26:13
460
1
原创 Namenode 元数据管理
在HDFS中文件相关元数据具有两种类型文件自身属性信息文件名称、权限，修改时间，文件大小，复制因子，数据块大小。文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上。按存储形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。
2025-01-08 10:16:09
724
原创 HDFS读写流程
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
2025-01-07 19:16:01
799
原创 HDFS架构原理
HDFS遵循主从架构。NameNode是主节点，负责存储和管理文件系统元数据信息，包括namespace目录结构、文件块位置信息等；DataNode是从节点，负责存储文件具体的数据块。两种角色各司其职，共同协调完成分布式的文件存储服务。SecondaryNameNode是主角色的辅助角色，帮助主角色进行元数据的合并。
2025-01-07 18:30:12
1103
原创 HDFS Federation联邦机制
当前的HDFS架构有两个主要的层：命名空间HDFS体系结构中的命名空间层由文件，块和目录组成。该层支持与名称空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录。块存储层（BlockStorage块存储层包括两个部分：块管理： NameNode执行块管理。块管理通过处理注册和定期心跳来提供DataNode群集成员身份。它处理块报告并支持与块相关的操作，如创建，删除，修改或获取块位置。它还维护块的位置，副本位置。为未复制的块管理块复制，并在已复制的块中删除。存储。
2025-01-07 17:18:42
334
原创 HDFS High Availability（HA）高可用
在HA集群中，脑裂指的是当联系主备节点的"心跳线"断开时(即两个节点断开联系时)，本来为一个整体、动作协调的HA系统，就分裂成为两个独立的节点。当发生故障Active NN挂掉后，Standby NN 会在它成为Active NN 前，读取所有的JN里面的修改日志，这样就能高可靠的保证与挂掉的NN的目录镜像树一致，然后无缝的接替它的职责，维护来自客户端请求，从而达到一个高可用的目的。：都认为对方是故障的，自己是主角色。可以看出，9越多，系统的可靠性越强，能够容忍的业务中断时间越少，但是要付出的成本更高。
2025-01-07 17:02:34
1234
原创 HDFS异构存储和存储策略
异构存储是Hadoop2.6.0版本出现的新特性,可以根据各个存储介质读写特性不同进行选择。例如冷热数据的存储，对冷数据采取容量大，读写性能不高的存储介质如机械硬盘，对于热数据，可使用SSD硬盘存储。在读写效率上性能差距大。异构特性允许我们对不同文件选择不同的存储介质进行保存，以实现机器性能的最大化。
2025-01-07 16:38:02
909
原创 Hadoop常用文件存储格式
Arrow促进了许多组件之间的通信。极大的缩减了通信时候序列化、反序列化所浪费的时间。利用Arrow作为内存中数据表示的两个过程可以将数据从一种方法“重定向”到另一种方法，而无需序列化或反序列化。例如，Spark可以使用Python进程发送Arrow数据来执行用户定义的函数。无需进行反序列化，可以直接从启用了Arrow的数据存储系统中接收Arrow数据。例如，Kudu可以将Arrow数据直接发送到Impala进行分析。
2025-01-07 16:09:28
961
原创 Hadoop常用命令总结
chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限。-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去。-appendToFile：追加一个文件到已经存在的文件末尾。-get：将hadoop上某个文件down至本地已有目录下。-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径。-touchz：在hadoop指定目录下新建一个空文件。–rm：删除hadoop上指定文件或文件夹。–put：将本地文件存储至hadoop。
2025-01-07 11:42:40
761
原创 HDFS REST HTTP API
WebHDFS其实是HDFS提供的HTTPRESTFul API接口，并且它是独立于Hadoop的版本的，它支持HDFS的完整FileSystem / FileContext接口。它可以让客户端发送http请求的方式来操作HDFS，而无需安装Hadoop。在我们经常使用的HDFS Web UI，它就是基于webhdfs来操作HDFS的。
2025-01-02 09:03:03
148
Monash FIT5217 自然语言处理 期末复习整理详解（中文版）
2022-10-13
jstl.jar和standard.jar
2019-05-15
100-电商项目开发文档.rar
2019-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人