悲剧么，Clubuptime挂那天写的，然后发现备份时候没打包上，幸好有Google Cache。
MooseFS是一个优秀的分布式文件系统，提供了Fuse接口的客户端，挂载后和读写本地磁盘上的文件无异，是替代NFS的理想选择。
除了无需重启拓展结点、稳定性子等技术特性之外，作者的更新和技术支持非常好，文档比较全面。
MooseFS分为三个部分，Master Server,Chunk Server和MetaLog Server.
其中，Master Server存储了元信息，[......]
1、为了HDFS中的保证数据完整性，Hadoop使用Checksum的方法，每io.bytes.per.checksum个字节计算一个CRC-32的CheckSum。默认是512字节，生成4字节的checksum，所以在空间开销上
2、Hadoop/HDFS支持压缩，当数据规模很大的时候，不仅可以节省空间，还可以减少网络I/O等的消耗。
3、在支持的压缩算法中，压缩比：bzip2 > gzip > lzo，速度：lzo > gzip > bzip2。
解[......]
至少有两种方法：
1、java.net.URL
把解析 " hdfs://localhost:9000:/user/liheyuan/xxx " 这种HDFS URL的解析器加到java.net.URL中，然后用传统Java的URL相关接口搞定。
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apa[......]
1、Map/Reduce任务
输入：
文件格式
id value
其中id是1~100之间的随机整数，value为1~100之间的随机浮点数。
输出：
每个id的最大value
生成这类文件，可以用python搞定，见本文末尾的附录。
2、Map/Reduce程序
这里就直接使用新(0.20.2)的API了，即org.apache.hadoop.mapreduce.*下的接口。
特别注意：
job.setNumReduceTasks(5)
指定了本Job的Redu[......]
出现在日志或者Web控制界面，有类似如下的情况：
10/09/07 19:24:51 INFO mapred.JobClient: Task Id : attempt_201009071911_0004_r_000000_2, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
导致这种错误的原因很多，主要来说是Reduce阶段取map结果->reduce结点时出错的。
我的[......]