Hadoop 2.6.0 Multi Node Cluster Setup on Ubuntu 14.10

Namenode > hadoopmaster > 192.168.23.132

Datanodes >  hadoopslave1 > 192.168.23.133
                      hadoopslave2 > 192.168.23.134
                      hadoopslave3 > 192.168.23.135

Clone Hadoop Single node cluster as hadoopmaster

Hadoopmaster Node

          $ sudo gedit /etc/hosts

                      hadoopmaster   192.168.23.132
                      hadoopslave1   192.168.23.133
                      hadoopslave2   192.168.23.134
                      hadoopslave3   192.168.23.135

          $ sudo gedit /etc/hostname

                      hadoopmaster

          $ cd /usr/local/hadoop/etc/hadoop

          $ sudo gedit core-site.xml

                       replace localhost as hadoopmaster

          $ sudo gedit hdfs-site.xml

                       replace value 1 as 3 (represents no of datanode)

          $ sudo gedit yarn-site.xml

                       add the following configuration
       
                       <configuration>
                              <property>
                                  <name>yarn.resourcemanager.resource-tracker.address</name>
                                  <value>hadoopmaster:8025</value>
                       <property>
                       <property>

                                  <name>yarn.resourcemanager.scheduler.address</name>
                                  <value>hadoopmaster:8030</value>
                       <property>
                       <property>
                                  <name>yarn.resourcemanager.address</name>
                                  <value>hadoopmaster:8050</value>
                             </property>
                       </configuration>

          $ sudo gedit yarn-site.xml

                       replace mapreduce.framework.name as mapred.job.tracker

                       replace yarn as hadoopmaster:54311

          $ sudo rm -rf /usr/local/hadoop/hadoop_data

Shutdown hadoopmaster node

Clone Hadoopmaster Node as hadoopslave1, hadoopslave2, hadoopslave3

Hadoopslave Node (conf should be done on each slavenode)

          $ sudo gedit /etc/hostname

                      hadoopslave<nodenumberhere>

          $ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

          $ sudo chown -R chaalpritam:chaalpritam /usr/local/hadoop

          $ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

                       remove dfs.namenode.name.dir property section

reboot all nodes

Hadoopmaster Node

          $ sudo gedit /usr/local/hadoop/etc/hadoop/masters

                       hadoopmaster

          $ sudo gedit /usr/local/hadoop/etc/hadoop/slaves

                       remove localhost and add 

                       hadoopslave1
                       hadoopslave2
                       hadoopslave3

          $ sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

                       remove dfs.datanode.data.dir property section

          $ sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

          $ sudo chown -R chaalpritam:chaalpritam /usr/local/hadoop

          $ sudo ssh-copy-id -i ~/.ssh/id_dsa.pub chaalpritam@hadoopmaster

          $ sudo ssh-copy-id -i ~/.ssh/id_dsa.pub chaalpritam@hadoopslave1

          $ sudo ssh-copy-id -i ~/.ssh/id_dsa.pub chaalpritam@hadoopslave2

          $ sudo ssh-copy-id -i ~/.ssh/id_dsa.pub chaalpritam@hadoopslave3

          $ sudo ssh hadoopmaster

          $ exit

          $ sudo ssh hadoopslave1

          $ exit

          $ sudo ssh hadoopslave2

          $ exit

          $ sudo ssh hadoopslave3

          $ exit

          $ hadoop namenode -format

          $ start-all.sh

          $ jps (check in all 3 datanodes)


http://hadoopmaster:8088/
http://hadoopmaster:50070/
http://hadoopmaster:50090/

http://hadoopmaster:50075/