一、前言
Flink中窗口、事件时间、水位线都是很重要的概念,网上介绍他们的博客非常多。
我就没有必要像写八股文那样再写一遍。
窗口、事件时间、水位线这3个东西放在一起,他们其实解决一个问题,那就是
窗口在什么时候关闭,并触发计算?
下面就扯一扯关于这个问题的注意点。
二、事件时间
1. 时间一定是精确到毫秒
在数据流中,表示事件时间的格式多种多样。
可能是精确到秒的yyyy-MM-dd HH:mm:ss或者长整型如1611076383。
但是Flink中的时间一定到精确到毫秒。
在分配时间戳和水位线调用assignTimestampsAndWatermarks的时候,一定要注意extractTimestamp的返回值是long,是要精确到毫秒。
2. 注意时区问题,我们在东八区
时间戳是从1970年1月1日0时0分0秒开始的,但是它是指的伦敦时间。我们中国常用的时间是东八区时间。
就是我们这边的时间和伦敦时间差8个小时。
我们获取数据流中的时间通常是东八区的时间,但如果Flink划分窗口是按照一天划分窗口,按照伦敦时间划分,那么这个时间窗口是有问题的。
所以对于这个时间在读取数据源时,对时间处理下,或者Flink有这个设置时区的功能话就设置下。
3. 时间窗口是左闭右开
时间窗口是有开始时间、结束时间的。
例如一个窗口是10:00:00 到10:10:00,窗口长度是10分钟。
但是事件时间是10:10:00整的数据,不属于这个窗口。
本窗口的最大时间戳 = 结束时间 - 1ms,窗口是左闭右开的。
4. 时间窗口的开始时间如何计算?
时间窗口的开始时间如何计算?
例如一个事件时间窗口长度是10分钟。
此时10:05:00的事件时间数据来了,Flink如何划分窗口呢?计算公式如下:
start = timestamp - (timestamp - offset + windowSize) %windowSize
offset偏移量默认为0。
(10:05 - 0 + 10分钟) %10分钟 = 5分钟,因为一个小时都是10分钟的整数倍
10:05 - 5分钟 = 10:00,说明窗口是从10:00开始,到10:10结束。
5. Flin1.12开始,默认时间特性是事件时间
Flin1.12开始,默认时间特性是事件时间。
你会发现下面的语句提示已经过时了。
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
用新的时间窗口分配器来指定用的是事件时间还是处理时间
.window(TumblingProcessingTimeWindows.of(Time.seconds(5)))
.window(TumblingEventTimeWindows.of(Time.seconds(30)))
三、水位线
1. 水位线的特点
- 水位线是用来解决数据乱序问题,本身是一个特殊的时间戳
- 水位线单调递增的,Flink认为事件时间早于水位线的数据都来了
2. 水位线控制窗口何时结束
当前的watermark >= 窗口的最大时间戳时,窗口关闭。
在之前的博客Flink 实战(7)时间特性、窗口、Watermark代码实践有水位线的图解。