hadoop3.x yarn 资源调度(Scheduler和队列)

说明

在集群中,资源是有限的,在 hadoop3.x yarn工作流程 中的第四步,ApplicationMaster 向 ResourceManager 申请资源,yarn 根据一些策略,为其分配资源

负责分配资源的是 Scheduler ,是 RM 的核心组件之一

三种调度器

Hadoop调度器主要有三种:

  • FIFO Scheduler,先进先出调度器
  • Capacity Scheduler,容量调度器
  • Fair Scheduler,公平调度器

Apache Hadoop3.x 默认的资源调度器是 Capacity Scheduler

CDH Hadoop3 默认调度器是 Fair Scheduler

配置调度器

yarn-site.xml文件

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

WEB中查看调度器

访问:http://hadoop2:8088/ ,显示如下:

队列

用户提交的任务,yarn放在队列(Queue)中

Schedule 是根据策略,给队列中的任务,分配资源

默认只有一个可用的队列

WEB中查看工作队列

当运行任务时:

hadoop jar /program/hadoop-3.0.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /data /result6

下图红框中就会变成 绿色


原文出处:/show_1IX2Egfcu0Uc.html