/ 中存储网

Hadoop 使用 MapReduce 排序 思路

2014-04-04 00:00:00 来源:中存储网

本文主要讲对key的排序,主要利用Hadoop的机制进行排序。

1、Partition

partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。

2、思路

由于每个partition内部是有序的,所以只要保证各partition间有序,即可保证全部有序。

3、问题

有了思路,如何定义partition的边界,这是个问题。

解决办法:hadoop提供了一个采样器帮我们预估整个边界,以使数据的分配尽量平均。