
2021
怪我_喽
这个作者很懒,什么都没留下…
展开
-
Yarn集群上提交多个Flink任务,状态一直Accepted且不停止不报错
一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。 解决这个问题,只需要更改Hadoop的配置文件: ../etc/hadoop/capacity-scheduler.xml, 把选项:yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义,这个选项是增加Yarn可调度的资源量,当然也可以视具体情况增加更多。也可见,默认情况下,Yarn没有将很多资源分配给任务的能力。 ...原创 2022-01-07 14:41:32 · 2475 阅读 · 0 评论 -
Flink Broadcast state使用示例
在这个例子中我们定义两个流,一个流包含name、age,另一个流定义特定的规则,代表希望寻找的模式。 public class Demo1 { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); final Execu原创 2021-11-25 14:39:30 · 430 阅读 · 0 评论 -
Flink union算法多流合并
union 在DataStream上使用union算子可以合并多个同类型的数据流,并生成同类型的数据流,即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出(First In First Out)的模式合并,且不去重。下图union对白色和深色两个数据流进行合并,生成一个数据流。 代码示例 String[] lists = {"file1", "file2", "file3"}; // 多个数据流进行整合; Dat.原创 2021-11-25 14:38:32 · 1957 阅读 · 0 评论 -
Flink CEP SQL案例
描述:现在的任务是找出一个单一股票价格不断下降的时期。 一、Maven项目pom.xml 二、测试数据 输入: ±—±-------------------------------±------------------------±---------------------±---------------------+ | op | symbol | rt | price |原创 2021-09-02 14:26:02 · 392 阅读 · 0 评论 -
最简单IDEA社区版构建SpringBoot项目
一、环境准备 IDEA Community Edition jdk8 maven 二、下载SpringBoot项目 https://start.spring.io/ 项目名称自己修改下。 点击ADD DEPENDENCIES,添加Web依赖。 下载构建好的SpringBoot项目的压缩包 三、idea中打开SpringBoot项目 使用maven加载依赖。 四、测试 添加如下代码 启动SpringBoot项目,访问localhost:8080/hello,如下SpringBoot项目构建成功。原创 2021-09-02 14:18:37 · 705 阅读 · 0 评论