出现在日志或者Web控制界面,有类似如下的情况:
1 2 |
10/09/07 19:24:51 INFO mapred.JobClient: Task Id : attempt_201009071911_0004_r_000000_2, Status : FAILED Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. |
导致这种错误的原因很多,主要来说是Reduce阶段取map结果->reduce结点时出错的。
我的解决方案,一定要保证自定义的/etc/hosts中的别名和hostname一致!
例如,自定义的是node1-node5,而hostname是hadoop1-hadoop5,那么一定会出现这种错误。
正确的hosts定义如下:
[crayon-5c6a6fa1ae66[……]