21、Flink 实战 - EventTime事件时间 Watermark水位线 注意点

一、前言

Flink中窗口、事件时间、水位线都是很重要的概念,网上介绍他们的博客非常多。

我就没有必要像写八股文那样再写一遍。

窗口、事件时间、水位线这3个东西放在一起,他们其实解决一个问题,那就是

窗口在什么时候关闭,并触发计算?

下面就扯一扯关于这个问题的注意点

二、事件时间

1. 时间一定是精确到毫秒

在数据流中,表示事件时间的格式多种多样。

可能是精确到秒的yyyy-MM-dd HH:mm:ss或者长整型如1611076383。

但是Flink中的时间一定到精确到毫秒

在分配时间戳和水位线调用assignTimestampsAndWatermarks的时候,一定要注意extractTimestamp的返回值是long,是要精确到毫秒

2. 注意时区问题,我们在东八区

时间戳是从1970年1月1日0时0分0秒开始的,但是它是指的伦敦时间。我们中国常用的时间是东八区时间。

就是我们这边的时间和伦敦时间差8个小时。

我们获取数据流中的时间通常是东八区的时间,但如果Flink划分窗口是按照一天划分窗口,按照伦敦时间划分,那么这个时间窗口是有问题的。

所以对于这个时间在读取数据源时,对时间处理下,或者Flink有这个设置时区的功能话就设置下。

3. 时间窗口是左闭右开

时间窗口是有开始时间、结束时间的。

例如一个窗口是10:00:00 到10:10:00,窗口长度是10分钟。

但是事件时间是10:10:00整的数据,不属于这个窗口。

本窗口的最大时间戳 = 结束时间 - 1ms,窗口是左闭右开的。

4. 时间窗口的开始时间如何计算?

时间窗口的开始时间如何计算?

例如一个事件时间窗口长度是10分钟。

此时10:05:00的事件时间数据来了,Flink如何划分窗口呢?计算公式如下:

start = timestamp - (timestamp - offset + windowSize) %windowSize

offset偏移量默认为0。

(10:05 - 0 + 10分钟) %10分钟 = 5分钟,因为一个小时都是10分钟的整数倍

10:05 - 5分钟 = 10:00,说明窗口是从10:00开始,到10:10结束。

5. Flin1.12开始,默认时间特性是事件时间

Flin1.12开始,默认时间特性是事件时间

你会发现下面的语句提示已经过时了。

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

用新的时间窗口分配器来指定用的是事件时间还是处理时间

.window(TumblingProcessingTimeWindows.of(Time.seconds(5)))

.window(TumblingEventTimeWindows.of(Time.seconds(30)))

三、水位线

1. 水位线的特点

  • 水位线是用来解决数据乱序问题,本身是一个特殊的时间戳
  • 水位线单调递增的,Flink认为事件时间早于水位线的数据都来了

2. 水位线控制窗口何时结束

当前的watermark >= 窗口的最大时间戳时,窗口关闭。

在之前的博客Flink 实战(7)时间特性、窗口、Watermark代码实践有水位线的图解。