出现在日志或者Web控制界面,有类似如下的情况:
10/09/07 19:24:51 INFO mapred.JobClient: Task Id : attempt_201009071911_0004_r_000000_2, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
导致这种错误的原因很多,主要来说是Reduce阶段取map结果->reduce结点时出错的。
我的[......]
Hadoop集群配置
首先恢复单机配置,可以参考教程:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
本文大部分参考了这个《Hadoop集群配置教程》,非常感谢!
Master:10.182.165.114 node1 (Namenode 和 JobTracker)
Slave:10.182.165.156 node2
1、下载、创建用户
/usr/sbin/add[......]
Setting the hostname in Sendmail
引用自:Setting the hostname in Sendmail
If you need to change the hostname that Sendmail announces itself as, just add the following to sendmail.mc:
define(`confDOMAIN_NAME', `mail.yourdomain.com')dnl
And, to add additional stuff onto the en[......]
关于mutt发邮件的中文乱码的问题
首先,mutt是很智能的,不要低估了人家的智商。
默认来说,是根据系统的LANG变量来评估所需要试用的编码的。
以中文为例
sudo sudo dpkp-reconfigure locales
#然后构上选择zh_CN.GB2312
#但是不要选择默认编码!
Generating locales (this might take a while)...
zh_CN.GB2312... done
Generation complete.
#执行成功后直接exp[......]
Hadoop伪集群测试
Hadoop的执行模式有三种:单机、伪集群和集群。
前面《Hadoop单机测试》文章中,我们已经搞定了纯单机模式。下面来说伪集群。
伪集群的各个进程将跑在不同的JVM里,并且使用HDFS。
2012.06.21更新:更新Hadoop版本到1.0.3
1、配置伪集群
conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl&qu[......]