简述shuGle为什么要排序 ？
参考答案：
shuffle排序的主要目的是将具有相同key的数据提前放在一起。这种排序操作在大数据处理过程中尤为重要，特别是在map-reduce框架中。在reduce阶段，需要进行数据的分组，即将相同key的数据放在一起进行规约处理。为了实现这一目的，可以使用两种算法：hashmap和sort。然而，如果仅在reduce阶段进行sort排序（内部排序），可能会消耗大量的内存资源。
为了降低内存的使用量，通常在map阶段（即shuffle阶段）就进行排序。map阶段的输出会溢写到磁盘中，而在磁盘上进行外排可以对任意大小的数据量进行分组（只要磁盘空间足够）。通过这种方式，map阶段的排序能够减轻reduce阶段排序的压力，从而提高整个数据处理过程的效率和稳定性。
因此，shuffle排序的核心作用是为了优化数据处理流程，减少内存消耗，并确保数据能够按照key进行有效的分组和规约处理。