Hadoop单机测试

经过电话确认,终于把Rackspace激活了,又多了一个玩具,以后再跑大实验时候可以用用看。

以下主要参考Hadoop的官方教程。

2012年6月21日更新:更新到最新的版本Hadoop 1.0.3

1、下载Hadoop

2、设置JAVA_HOME

3、单机测试

这实际是单机走一遍Hadoop流程,input目录下有一些文件,Hadoop的Grep例子将遍历文件,并找到匹配正则的部分。

用Shell可以轻易完成:

用Hadoop单机跑明显慢(数据小,流程的开销占了多数)

完成后,会出现output文件夹,里面是结果。

Leave a Reply

Your email address will not be published.