简述 什么是Flink on YARN模式 ?
参考答案:
Flink on YARN模式是指Apache Flink在YARN(Yet Another Resource Negotiator,Hadoop的资源调度和集群管理系统)上运行的一种部署模式。在这种模式下,Flink作为一个YARN应用程序,利用YARN来管理资源分配和任务调度。通过Flink on YARN模式,可以充分利用Hadoop集群的资源,实现Flink的分布式计算。
具体来说,Flink on YARN模式主要有两种提交模式:Session模式和Per-Job模式。在Session模式下,会在YARN上启动一个Flink集群,并重复使用该集群,后续提交的任务都是提交给该集群,资源会一直被占用,除非手动关闭。这种模式的优点是不需要每次递交都申请资源,而是使用已经申请好的资源,从而提高执行效率;缺点是作业执行完成以后,不会释放资源,因此会一直占用系统资源。它更适用于作业递交比较频繁或小作业比较多的场景。
而Per-Job模式则是每次提交作业都会申请一次资源,作业运行完成后会立即释放资源。这种模式的优点是资源利用率高,不会造成资源浪费;缺点是每次申请资源都会影响执行效率。它更适用于作业比较少或大作业的场景。
总的来说,Flink on YARN模式通过将Flink与YARN集成,可以更好地利用YARN集群的资源管理能力,提高Flink作业的执行效率和资源利用率。