Hadoop集群配置详细版

之前配置Hadoop的很多步骤不太详细,配置文件的许多优化点也没太搞清楚,重新写一下。

2012.06.22更新:Hadoop版本兼容到1.0.3。

0、ssh免密码登录

1、安装JDK7

2、安装Hadoop(0.23.0)

更新:注意权限,新版本中,所有HDFS目录权限务必是755,不能是775。

3、准备环境变量

主要是HADOOP_HOME,在1.0之后,还要这个参数

4、配置hosts(Linux和Hadoop)

5、配置文件:

参数详细配置参考:http://hadoop.apache.org/common/docs/current/cluster_setup.html

core-site.xml

hdfs-site.xml

mapred-site.xml

6、格式化namenode

7、启动Hadoop

GUI:http://localhost:50030 (集群)
GUI:http://hadoop1:50070(HDFS)

8、其他说明:

mapred.tasktracker.map.tasks.maximum 每个结点最多运行多少个map
mapred.tasktracker.reduce.tasks.maximum 每个结点最多运行多少个reduce

 

Leave a Reply

Your email address will not be published.