跳到主要内容

Mapper端进行combiner之后,除了速度会提升,那从Mapper端到Reduece 端的数据量会怎么变 ?

参考答案:

在Hadoop的MapReduce框架中,Combiner是一个可选的类,它位于Map类和Reduce类之间。Combiner的主要功能是汇总Map类的输出,以减少Reduce类接收的数据量。因此,当在Mapper端使用Combiner后,除了可以提升处理速度外,从Mapper端到Reducer端的数据量会减少

具体来说,Combiner在Map任务完成后、输出到Reducer之前工作,它会将Map的输出数据进行局部汇总,减少不必要的数据传输。这样,Reducer接收到的数据量就会减少,从而降低了网络拥塞和Reducer处理数据的压力。

总之,通过Mapper端的Combiner,可以有效地减少从Mapper端到Reducer端的数据传输量,提高整个作业的执行效率。