跳到主要内容

简述Hadoop常用端口号 ?

参考答案:

Hadoop是一个由多个组件构成的分布式系统,每个组件都会使用特定的端口号进行通信和交互。以下是Hadoop常用的一些端口号及其简要描述:

  1. HDFS(Hadoop Distributed File System)相关端口:
  • 50010:数据节点(DataNode)的数据传输端口,用于数据的读写操作。
  • 50020:数据节点(DataNode)的管理端口,用于接收命令和状态同步。
  • 50070:NameNode的Web界面端口,提供HDFS的Web管理界面。
  • 50470:NameNode的HTTPS Web界面端口,提供通过HTTPS访问的Web管理界面。
  1. YARN(Yet Another Resource Negotiator)相关端口:
  • 8030:ResourceManager的客户端RPC端口,用于提交应用程序并与ResourceManager进行通信。
  • 8031:ResourceManager的Scheduler端口,用于资源调度。
  • 8032:ResourceManager的Application Master端口,用于与Application Master进行通信。
  • 8033:ResourceManager的资源追踪器端口,用于资源追踪和监控。
  • 8088:ResourceManager的Web界面端口,提供YARN的Web管理界面。
  1. MapReduce相关端口:
  • 10020:JobTracker(在Hadoop 2.x及更高版本中,此角色由ResourceManager和Application Master共同承担)的客户端RPC端口,用于提交MapReduce作业并与JobTracker进行通信。

需要注意的是,这些端口号都是Hadoop的默认值,实际部署时可能会根据具体环境和需求进行调整。因此,在实际使用时,请参考具体的Hadoop配置文件或文档以获取准确的端口号信息。此外,随着Hadoop版本的不断更新,一些端口号可能会有所变化,因此建议查阅最新版本的官方文档以获取最准确的信息。