关于Hadoop中出现“Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误

出现在日志或者Web控制界面,有类似如下的情况:
10/09/07 19:24:51 INFO mapred.JobClient: Task Id : attempt_201009071911_0004_r_000000_2, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
导致这种错误的原因很多,主要来说是Reduce阶段取map结果->reduce结点时出错的。
我的[......]

继续阅读

Hadoop集群配置

首先恢复单机配置,可以参考教程:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
本文大部分参考了这个《Hadoop集群配置教程》,非常感谢!

Master:10.182.165.114 node1 (Namenode 和 JobTracker)
Slave:10.182.165.156 node2

1、下载、创建用户
/usr/sbin/add[......]

继续阅读

关于mutt发邮件的中文乱码的问题

首先,mutt是很智能的,不要低估了人家的智商。

默认来说,是根据系统的LANG变量来评估所需要试用的编码的。

以中文为例
sudo sudo dpkp-reconfigure locales

#然后构上选择zh_CN.GB2312
#但是不要选择默认编码!
Generating locales (this might take a while)...
zh_CN.GB2312... done
Generation complete.

#执行成功后直接exp[......]

继续阅读

Hadoop伪集群测试

Hadoop的执行模式有三种:单机、伪集群和集群。

前面《Hadoop单机测试》文章中,我们已经搞定了纯单机模式。下面来说伪集群。

伪集群的各个进程将跑在不同的JVM里,并且使用HDFS。

2012.06.21更新:更新Hadoop版本到1.0.3

1、配置伪集群

conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl&qu[......]

继续阅读