跳到主要内容

简述Hadoop作业提交到YARN的流程 ？

参考答案：

Hadoop作业提交到YARN的流程主要包括以下几个步骤：

  1. 客户端提交作业：

    • 客户端（通常是用户或应用程序）使用Hadoop的API或命令行工具（如hadoop jar）提交作业到YARN ResourceManager。
    • 提交时，客户端会提供作业的配置信息、输入数据位置以及作业所需的资源（如内存和CPU）。

  2. ResourceManager处理作业请求：

    • ResourceManager接收到作业请求后，会首先检查集群的资源情况，确定是否有足够的资源来运行作业。
    • 如果资源足够，ResourceManager会选择一个NodeManager（或多个NodeManager，取决于作业的大小和配置）来运行作业。

  3. 分配ApplicationMaster：

    • ResourceManager会在选定的NodeManager上启动一个ApplicationMaster进程。
    • ApplicationMaster负责协调作业的执行，并与ResourceManager和NodeManager进行通信。

  4. ApplicationMaster注册并请求资源：

    • ApplicationMaster向ResourceManager注册自己，并请求作业所需的资源。
    • ResourceManager根据集群的资源情况和作业的请求，分配资源给ApplicationMaster。

  5. ApplicationMaster启动Container：

    • ApplicationMaster在获得资源后，会向相应的NodeManager发送启动Container的请求。
    • 每个Container对应作业中的一个任务（如Map任务或Reduce任务）。

  6. NodeManager启动并运行Container：

    • NodeManager接收到启动Container的请求后，会在其管理的节点上启动相应的任务。
    • 任务会按照作业的配置和要求运行，处理数据并生成输出。

  7. 任务执行与监控：

    • ApplicationMaster会监控作业的执行情况，包括任务的进度、状态和资源使用情况。
    • 如果需要，ApplicationMaster还可以向ResourceManager请求更多的资源或释放不再需要的资源。

  8. 作业完成与资源释放：

    • 当作业的所有任务都执行完毕后，ApplicationMaster会向ResourceManager报告作业的状态为完成。
    • ResourceManager会通知相关的NodeManager释放作业占用的资源。

  9. 客户端获取作业结果：

    • 客户端可以通过Hadoop的API或命令行工具查询作业的执行结果和输出数据。

在整个流程中，YARN通过ResourceManager、NodeManager和ApplicationMaster等组件的协同工作，实现了作业的调度、资源管理和任务执行。这种架构使得Hadoop能够在大规模分布式集群上高效地运行作业。