Window
无界流 转化为 有界流 分析的桥梁
在流处理应用中,数据是 连续不断的,当做一些 统计 处理时,需要指定 范围,才能更好的统计,如:时间范围,微博热搜榜:统计过去24小时热搜
Time
基于时间范围处理数据
State
状态是计算过程中的数据信息,包括:计算过程中 产生的 中间结果,和 元数据信息 等,在计算过程中会持久化
任务执行出错时,从 检查点(checkpoint)中,根据 state 进行恢复
Checkpoint
Checkpoint 本质就是对State的备份, 持久化到文件系统比如 HDFS 中
检查点机制:
目的:为了保证程序发生故障时状态不丢也不错,它是保证状态一致性而不是数据一致性。
原理:使用异步屏障快照Asynchronous Barrier Snapshotting(简称 ABS)算法(依赖于Chandy-Lamport算法的变种)实现分布式快照。
参考
https://blog.csdn.net/lzb348110175/article/details/104346085
https://blog.csdn.net/qq_43141726/article/details/125870414