Author Archives: coder4

Bloom Filter实现的一些文章

1、给出了Java实现,用Random做为一致性哈希算法。。。
http://blog.locut.us/2008/01/12/a-decent-stand-alone-java-bloom-filter-implementation/

2、分析比较到位:
http://blog.csdn.net/jiaomeng/article/details/1495500

3、这个写的也不错
http://www.cnblogs.com/heaad/archive/2011/01/02/[......]

继续阅读

使用GenericOptionsParser简化参数解析

GenericOptionsParser可以让你的Map/Reduce程序具有Hadoop常用的属性。
一般无需直接用GenericOptionsParser,继承Configured即可。
public class ConfigurationPrinter extends Configured implements Tool {

//添加你需要的配置文件
static {
Configuration.addDefaultResource("hdfs-default.xml[......]

继续阅读

Hadoop The Definitive Guide 2nd读书笔记 – 第八章

1、计数器,用于Debug或者统计,毕竟分布式系统中,想要调个Bug是非常困难的,因为机器太多。。

2、Hadoop中有10多个内置的计数器,是默认就有的,例如HDFS读/写数据量,等等……

3、用户可以自定义Counter,步骤如下:
(1)Enum
(2)reporter.incrCounter()
(3)从Web管理界面或者getCounter中获得。
class MaxTemperatureWithCounters extends Configured impleme[......]

继续阅读