简述YARN资源调度平台三大组件 ?
参考答案:
YARN(Yet Another Resource Negotiator)是一个资源调度平台,为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台。YARN资源调度平台主要由三大组件构成,它们分别是:
- ResourceManager(RM):ResourceManager是整个集群的中心,负责集群的资源分配和调度。它与每个节点上的NodeManager和每一个应用程序上的ApplicationMaster协调工作。ResourceManager主要由两个组件构成:资源调度器(Scheduler)和应用程序管理器(Application Manager)。资源调度器负责接收多个客户端的应用资源请求,并将这些作业放在一个或者多个作业队列中,然后按照设置的调度方法分配Container。
- NodeManager:NodeManager是每个节点上的资源和任务管理器,它是管理这台机器的代理,负责该节点程序的运行,以及该节点资源的管理和监控。YARN集群的每个节点都运行一个NodeManager,它接收并处理来自ApplicationMaster的Container启动、停止等各种请求。
- ApplicationMaster:用户提交的每个应用程序都包含一个ApplicationMaster,它可以运行在ResourceManager以外的机器上。ApplicationMaster负责得到的任务的进一步分配,即资源的二次分配。
这三大组件协同工作,使得YARN能够高效地管理和调度集群中的资源,以满足各种运算程序的需求。