flink1.12.x 四个重要概念:Window、Time、State、Checkpoint

Window

无界流 转化为 有界流 分析的桥梁

在流处理应用中,数据是 连续不断的,当做一些 统计 处理时,需要指定 范围,才能更好的统计,如:时间范围,微博热搜榜:统计过去24小时热搜

Time

基于时间范围处理数据

State

状态是计算过程中的数据信息,包括:计算过程中 产生的 中间结果,和 元数据信息 等,在计算过程中会持久化

任务执行出错时,从 检查点(checkpoint)中,根据 state 进行恢复

Checkpoint

Checkpoint 本质就是对State的备份, 持久化到文件系统比如 HDFS 中

检查点机制:

  • 目的:为了保证程序发生故障时状态不丢也不错,它是保证状态一致性而不是数据一致性。

  • 原理:使用异步屏障快照Asynchronous Barrier Snapshotting(简称 ABS)算法(依赖于Chandy-Lamport算法的变种)实现分布式快照。

参考

https://blog.csdn.net/lzb348110175/article/details/104346085

https://blog.csdn.net/qq_43141726/article/details/125870414


原文出处:/show_1IX45qPrZ6A0.html