Addroc_Sue的博客

【代码】Flink分区和窗口操作。

同时到达Flink的事件时间为900ms和1000ms，允许的乱序时间为100ms，如果不减去1ms，那么900ms的事件就会被任务是迟到数据，这就是边界问题。在实际应用中，事件时间戳可能会有微小的波动或不确定性。减去1ms提供了一个小的缓冲，以便更好地处理这些不确定性，避免因时间戳的微小误差而影响处理逻辑。比如同时到达Flink的事件时间为a, b, c。处理乱序和迟到数据是实现准确和高效流处理的关键。事件到达Flink的时间小于WaterMark。乱序时间: 容忍的最长迟到时间。设置周期性更新的时间。

无共享状态：每个actor都有自己的独立状态，actor之间不共享状态，从而避免了传统并发编程中的锁机制和竞争条件。高并发性：由于actor之间的通信是异步的，并且actor独立处理自己的消息，系统可以很好地处理大量并发任务。简化并发编程：Actor模型通过消息传递和无共享状态，避免了传统并发编程中的锁和竞争条件，简化了编程和调试。自治性：Actor是自主的实体，它们只对接收到的消息做出反应，并根据消息的内容改变自己的状态或行为。Actor：Actor是独立的计算单元，拥有自己的状态和行为。

如果没有足够的可用slot，Slot Pool将向ResourceManager请求更多的资源，ResourceManager在收到请求后，会根据集群的资源可用性决定是否启动新的TaskManager实例，或者分配已有的空闲slot。一旦ResourceManager分配了新的slot，Slot Pool会将这些slot标记为可用，并根据JobMaster的请求将它们分配给具体的任务。的方式实现，不同组之间的任务是完全隔离的，必须分配到不同的slot上，防止很多任务堆积到一个slot上。

维度建模是面向分析场景而生，针对分析场景构建数仓模型，重点关注快速、灵活的解决分析需求，同时能够提供大规模数据的快速响应性能。ER模型常用于OLTP数据库建模，应用到构建数仓时更偏重数据整合，站在企业整体考虑，将各个系统的数据按相似性一致性进行合并处理，为数据分析、决策服务，但并不便于直接用来支持分析。一个业务流程中的多个关键业务过程联合处理而构建的事实表，比如含有多个日期字段的交易信息表。，更加倾向于整合企业总体的数据，不适合用作分析使用，更多的是后端在使用。分数字段的值依赖的是ID和科目字段决定。