跳到主要内容

简述在Yarn-client情况下,Driver此时在哪 ?

参考答案:

在Yarn-client情况下,Driver运行在提交作业的客户端节点上。也就是说,Driver并不在YARN集群中运行,而是在客户端机器上执行。

在这种模式下,当作业被提交后,YARN的Application Master会负责从YARN集群中为Spark Executor申请资源。之后,Client端会与这些YARN container保持通信,进行作业的调度。这意味着Client在整个作业执行期间都需要保持运行状态,以便与YARN container进行通信和协调。

因此,Yarn-client模式的一个主要特点是Client与YARN container之间的紧密交互,而Driver作为作业的主要协调者,则运行在提交作业的客户端上。这种模式通常适用于需要频繁与客户端进行交互的作业,例如需要实时反馈或用户输入的作业。然而,这也意味着如果客户端发生故障或关闭,作业可能会受到影响。