23、Hadoop 教程 - Yarn调度器和调度算法

1. YARN调度器概述

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。

具体设置详见:yarn-default.xml文件

The class to use as the resource scheduler. yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

2. 先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

 

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用;

3. 容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器。

3.1. 容量调度器的特点

 

1、多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。
2、容量保证:管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。
4、多租户:支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

3.2. 容量调度器资源分配算法

 

1)队列资源分配
从root开始,使用深度优先算法,优先选择资源占用率最低的队列分配资源。
2)作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源。
3)容器资源分配
按照容器的优先级分配资源;如果优先级相同,按照数据本地性原则:
a. 任务和数据在同一节点
b. 任务和数据在同一机架
c. 任务和数据不在同一节点也不在同一机架

4. 公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。

4.1. 公平调度器的特点

 

与容量调度器相同点:

1)多队列:支持多队列多作业

2)容量保证:管理员可为每个队列设置资源最低保证和资源使用上线
3)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。
4)多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

与容量调度器不同点:

1)核心调度策略不同:
容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的

2)每个队列可以单独设置资源分配方式:
容量调度器:FIFO、 DRF
公平调度器:FIFO、FAIR、DRF

4.2. 公平调度器之缺额

 

  • 公平调度器设计目标是:在时间尺度上,所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
  • 调度器会优先为缺额大的作业分配资源

4.3. 公平调度器队列资源分配方式

 

4.4. 公平调度器资源分配算法