hadoop3.x MapReduce-排序(废弃)

说明

MapTask 和 ReduceTask 都会根据 key 对数据 进行 排序

默认排序是按照 字典顺序 排序

使用 快速排序 算法

MapTask

两次排序:

  • 第一次排序:环形缓冲区,将数据溢写到磁盘之前,会对缓冲区中的数据进行一次快速排序

  • 第二次排序:当数据处理完毕后,会对磁盘上所有文件进行归并排序

ReduceTask

ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序


原文出处:/show_1IX2D4DPSy6W.html