yarn.nodemanager.resource.memory-mb
关于 yarn.nodemanager.resource.memory-mb 的解释,参见 链接
Fair Scheduler
见 链接
二者关系
没有配置 yarn.nodemanager.resource.memory-mb 参数
Fair Scheduler 公平调度队列的内存,设置多少都会生效,即使超过 物理内存,在 yarn web 中也可以 看到生效,如下图:
注意: 虽然 公平调度器 队列内存 大于 物理内存,在 上图中 看到 确实生效了。但是,运行 MapReduce 程序时,仍然只能 并发 运行2个任务,因为物理内存只能支持2个任务
配置 yarn.nodemanager.resource.memory-mb 参数
如果配置 yarn.nodemanager.resource.memory-mb 参数,那么 Fair Scheduler 公平调度队列的内存,不能超过 yarn.nodemanager.resource.memory-mb 内存,如果超过该内存,在 yarn web 中,也 不会识别到
