核心流程图

通过下列流程图(简化)可看出,限流处理策略即将每次请求根据限流配置判断是否触发限流,当校验时线程中断,则抛出IllegalStateException,当触发限流时,抛出RequestNotPermitted异常,本次请求均会终止调用。否则,本次请求继续正常调用。

 

RateLimiterConfig

限流器核心配置。 比如timeoutDuration:1s,limitRefreshPeriod:3s,limitForPeriod:1000. 表示从应用启动后,每三秒至多允许1000个请求,获取授权操作最多可等待1s,超过1000请求,会抛出RequestNotPermitted异常,需等待下一个3s周期,重新刷新1000个授权。

private final Duration timeoutDuration;//获取授权操作的超时时间。 默认:5秒
private final Duration limitRefreshPeriod;//限流周期时长。       默认:500纳秒
private final int limitForPeriod;//周期内允许通过的请求数量。      默认:50

限流算法:

令牌桶算法

生成令牌速度固定,而请求去拿令牌是没有速度限制的。当面对瞬时大流量,令牌可能短时间被消耗而空,而在生成新的令牌前,后续流量会被拒绝。
举个例子:xx车次,12306每个小时放100张票,14点刚放出100张,大家都去抢票,100张抢完了,其余人就买不到票,想买票只能等15点的100张票。如此反复。

 

漏桶算法

水先进到漏桶里,漏桶以一定的速度出水,当入水速度大于出水速度,且速度过大时,桶里的水溢出。

通俗理解就是

 

RateLimiter最核心处是:获取permission。RateLimiter::getPermission,支持AtomicRateLimiter(令桶算法)和SemaphoreBasedRateLimiter(信号量机制)。默认使用AtomicRateLimiter(令桶算法)

 

AtomicRateLimiter

令桶算法

成员变量

// 限流器启动时系统时间(纳秒)
private static final long nanoTimeStart = nanoTime();
// 限流器名称
private final String name;
// 等待线程数
private final AtomicInteger waitingThreads;
// 限流器状态
private final AtomicReference<State> state;
// 事件处理器
private final RateLimiterEventProcessor eventProcessor;

getPermission

 

calculateNextState

 

waitForPermissionIfNecessary

 

SemaphoreBasedRateLimiter

信号量机制
成员变量

//限流器名称
private final String name;
//限流器配置
private final AtomicReference<RateLimiterConfig> rateLimiterConfig;
//定时任务池,通过该scheduler去刷新信号量
private final ScheduledExecutorService scheduler;
//信号量
private final Semaphore semaphore;
//度量指标
private final SemaphoreBasedRateLimiterMetrics metrics;
//事件处理器
private final RateLimiterEventProcessor eventProcessor;

通过构造方法可看出,SemaphoreBasedRateLimiter是通过ScheduledExecutorService去周期性的释放信号量,以刷新每个新周期的token。

![ ][nbsp 7

getPermission

通过semaphore在规定时间内去获取信号量。

 

通过下图可看出,RateLimiter其实是以limitRefreshPeriod按纳秒单位切割JVM时间轴,每个周期允许tokean数为:limitForPeriod,tokean用完就park thread 等待下一个周期刷新的token。

 

事件订阅及消费和CircuitBreaker大体相同就不再介绍了。