Flink 笔记 - 状态后端（State backend）

一、概述

Flink支持的StateBackend:

MemoryStateBackend 默认的state的类型就是这种

FsStateBackend

RocksDBStateBackend

二、MemoryStateBackend

默认情况下，状态信息是存储在 TaskManager 的堆内存中的，checkpoint 的时候将状态保存到JobManager 的堆内存中。

缺点：只能保存数据量小的状态
状态数据有可能会丢失
优点：开发测试很方便

三、 FSStateBackend

状态信息存储在 TaskManager 的堆内存中的，checkpoint 的时候将状态保存到指定的文件中 (HDFS等文件系统)

优点：状态访问速度很快
状态信息不会丢失
缺点：状态大小受TaskManager内存限制(默认支持5M)
用于：生产，也可存储状态数据量大的情况

四、RocksDBStateBackend

依赖：

 <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_2.12</artifactId>
            <version>1.10.1</version>
</dependency>

状态信息存储在 RocksDB 数据库 (key-value 的数据存储服务)，最终保存在本地文件中。checkpoint 的时候将状态保存到指定的文件中 (HDFS 等文件系统)

缺点：状态访问速度有所下降
优点：可以存储超大量的状态信息
状态信息不会丢失
用于：生产，可以存储超大量的状态信息

五、配置

5.1、代码中设置

 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 默认方式 Memory
        env.setStateBackend(new MemoryStateBackend());
        // fs
        env.setStateBackend(new FsStateBackend("hdfs://namenode:9000/flink/checkpoints"));
        // rocksDB
        env.setStateBackend(new RocksDBStateBackend("local-filepath",true));

5.2、配置 flink-conf.yaml

state.backend: filesystem 
state.checkpoints.dir: hdfs://namenode:9000/flink/checkpoints

注意：state.backend的值可以是下面几种：jobmanager(MemoryStateBackend), filesystem(FsStateBackend), rocksdb(RocksDBStateBackend)

16、Flink 笔记 - 状态后端（State backend）