Flink - 窗口

suaxi
2026-11-18 / 0 评论 / 3 阅读 / 正在检测是否收录...

五、时间和窗口

1. 窗口

1.1 概念

在 Flink 中,可以把窗口看作“桶”,窗口可以将流分割成有限大小的多个存储桶(bucket),每个数据都会分发到对应的桶中,当到达窗口结束时间时,就对每个桶中收集的数据进行处理

1.1窗口.png

注:当有落在这个窗口区间范围的数据到达时,Flink 才会动态创建窗口


1.2 分类

(1)按照驱动类型

时间窗口(Time Window):以时间点定义窗口的开始和结束,即截取某一时间段的数据,到达结束时间时,窗口不再收集数据,触发对应的计算,并关闭窗口

计数窗口(Count Window):基于元素的个数来截取数据,达到指定个数时触发计算并关闭窗口


(2)按照数据分配规则

滚动窗口(Tumbling Window):根据定义的窗口大小,对数据进行“均匀切片”,窗口之间没有重叠,也不存在间隔,每条数据都会被分配到一个窗口中,且只属于一个窗口

1.2.2.1滚动窗口.png


滑动窗口(Sliding Window):窗口大小也是固定的,但窗口与窗口之间不是首尾相接,通过窗口大小、滑动步长(计算频率)两个参数来定义,适用于计算频率较高的业务场景

1.2.2.2滑动窗口.png

注:当滑动步长小于窗口大小时,窗口就会出现重叠,这时数据的分配根据窗口大小与步长的比值来决定


会话窗口(Session Window):基于会话(session)对数据进行分组,通过会话超时时间参数决定两个窗口之间的间隔,且窗口之间没有任何关联

1.2.2.3会话窗口.png

如果相邻两个数据到来的时间间隔(gap)小于指定大小(size),代表会话还在保持,这两个数据属于同一窗口,当 gap 大于 size 时,数据属于下一个窗口,且前一个窗口应当关闭


全局窗口(Global Window):会将具有相同 key 的数据分配到同一个窗口中,且窗口没有结束时间,通过触发器(Trigger)触发计算,默认不会触发

1.2.2.4全局窗口.png


1.3 窗口 API

(1)Keyed 和 Non-Keyed

按键分区窗口(Keyed Window):通过 keyBy() 方法将相同 key 的数据发送到同一个并行子任务,窗口操作会基于每个 key 进行单独的处理,即每个 key 都定义了一组窗口,并各自进行独立计算

dataStream.keyBy(xxx)
          .window(xxx)


非按键分区窗口(Non-Keyed Window):不进行数据分区,在一个子任务上进行计算,即并行度值为 1(该模式下手动设置并行度无效)

// windowAll 方法是非并行操作
dataStream.windowAll(xxx)


(2)窗口 API

dataStream.keyBy(xxx)
          .window([window assigner]) // 窗口分配器,指定窗口类型
          .aggregate([window function])  // 窗口函数,定义处理逻辑
0

评论 (0)

取消