Hadoop - 多节点集群
本章介绍分布式环境中 Hadoop 多节点集群的设置。
由于无法演示整个集群，所以我们解释使用三个系统（一主两从）的Hadoop集群环境； 下面给出的是他们的IP地址。
- Hadoop Master: 192.168.1.15 (hadoop-master)
- Hadoop Slave: 192.168.1.16 (hadoop-slave-1)
- Hadoop Slave: 192.168.1.17 (hadoop-slave-2)
按照以下步骤设置 Hadoop 多节点集群。
安装 Java
Java 是 Hadoop 的主要先决条件。 首先，您应该使用"java -version"验证系统中是否存在 java。 java version 命令的语法如下所示。
$ java -version
如果一切正常，它将为您提供以下输出。
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果您的系统中未安装 java，请按照给定的步骤安装 java。
步骤 1
通过访问以下链接 www.oracle.com 下载 java (JDK <latest version> - X64.tar.gz)
然后 jdk-7u71-linux-x64.tar.gz 将被下载到您的系统中。
步骤 2
通常您会在 Downloads 文件夹中找到下载的 java 文件。 验证它并使用以下命令提取 jdk-7u71-linux-x64.gz 文件。
$ cd Downloads/ $ ls jdk-7u71-Linux-x64.gz $ tar zxf jdk-7u71-Linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-Linux-x64.gz
步骤 3
要使所有用户都可以使用 java，您必须将其移动到位置 "/usr/local/"。 打开根目录，然后键入以下命令。
$ su password: # mv jdk1.7.0_71 /usr/local/ # exit
步骤 4
要设置 PATH 和 JAVA_HOME 变量，请将以下命令添加到 ~/.bashrc 文件中。
export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH=PATH:$JAVA_HOME/bin
现在从终端验证 java -version 命令，如上所述。 按照上述过程并在所有集群节点中安装 java。
创建用户帐户
在主系统和从系统上创建一个系统用户帐户以使用 Hadoop 安装。
# useradd hadoop # passwd hadoop
节点映射
您必须在所有节点上编辑 /etc/ 文件夹中的 hosts 文件，指定每个系统的 IP 地址及其主机名。
# vi /etc/hosts enter the following lines in the /etc/hosts file. 192.168.1.109 hadoop-master 192.168.1.145 hadoop-slave-1 192.168.56.1 hadoop-slave-2
配置密钥登录
在每个节点中设置 ssh，这样它们就可以在不提示输入密码的情况下相互通信。
# su hadoop $ ssh-keygen -t rsa $ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 $ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 $ chmod 0600 ~/.ssh/authorized_keys $ exit
安装 Hadoop
在主服务器中，使用以下命令下载并安装 Hadoop。
# mkdir /opt/hadoop # cd /opt/hadoop/ # wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz # tar -xzf hadoop-1.2.0.tar.gz # mv hadoop-1.2.0 hadoop # chown -R hadoop /opt/hadoop # cd /opt/hadoop/hadoop/
配置 Hadoop
您必须通过进行以下更改来配置 Hadoop 服务器，如下所示。
core-site.xml
打开 core-site.xml 文件并编辑它，如下所示。
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000/</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
hdfs-site.xml
打开 hdfs-site.xml 文件并编辑它，如下所示。
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop/hadoop/dfs/name/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/hadoop/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
打开 mapred-site.xml 文件并编辑它，如下所示。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>
hadoop-env.sh
打开 hadoop-env.sh 文件并编辑 JAVA_HOME、HADOOP_CONF_DIR 和 HADOOP_OPTS，如下所示。
注意 − 根据您的系统配置设置 JAVA_HOME。
export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf
在从属服务器上安装 Hadoop
按照给定的命令在所有从服务器上安装 Hadoop。
# su hadoop $ cd /opt/hadoop $ scp -r hadoop hadoop-slave-1:/opt/hadoop $ scp -r hadoop hadoop-slave-2:/opt/hadoop
在主服务器上配置 Hadoop
打开主服务器并按照给定的命令对其进行配置。
# su hadoop $ cd /opt/hadoop/hadoop
配置主节点
$ vi etc/hadoop/masters hadoop-master
配置从节点
$ vi etc/hadoop/slaves hadoop-slave-1 hadoop-slave-2
在 Hadoop Master 中格式化 Namenode
# su hadoop $ cd /opt/hadoop/hadoop $ bin/hadoop namenode –format 11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = hadoop-master/192.168.1.109 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.0 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits …………………………………………………. …………………………………………………. …………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/
启动 Hadoop 服务
下面的命令是启动 Hadoop-Master 上的所有 Hadoop 服务。
$ cd $HADOOP_HOME/sbin $ start-all.sh
在 Hadoop 集群中添加新的 DataNode
以下是向 Hadoop 集群添加新节点的步骤。
网络
使用适当的网络配置将新节点添加到现有 Hadoop 集群。 假设以下网络配置。
对于新节点配置 −
IP address : 192.168.1.103 netmask : 255.255.255.0 hostname : slave3.in
添加用户和 SSH 访问权限
添加用户
在新节点上，使用以下命令添加"hadoop"用户并将 Hadoop 用户的密码设置为"hadoop123"或您想要的任何内容。
useradd hadoop passwd hadoop
设置从主设备到新从设备的无密码连接。
在master上执行以下操作
mkdir -p $HOME/.ssh chmod 700 $HOME/.ssh ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keys Copy the public key to new slave node in hadoop user $HOME directory scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/
在从站上执行以下操作
登录到hadoop。 如果没有，请登录 hadoop 用户。
su hadoop ssh -X hadoop@192.168.1.103
将公钥的内容复制到文件 "$HOME/.ssh/authorized_keys" 中，然后通过执行以下命令更改相同的权限。
cd $HOME mkdir -p $HOME/.ssh chmod 700 $HOME/.ssh cat id_rsa.pub >>$HOME/.ssh/authorized_keys chmod 644 $HOME/.ssh/authorized_keys
从主机检查 ssh 登录。 现在检查您是否可以在没有主节点密码的情况下 ssh 到新节点。
ssh hadoop@192.168.1.103 or hadoop@slave3
设置新节点的主机名
您可以在文件 /etc/sysconfig/network 中设置主机名
On new slave3 machine NETWORKING = yes HOSTNAME = slave3.in
要使更改生效，请重新启动机器或对具有相应主机名的新机器运行 hostname 命令（重新启动是一个不错的选择）。
在 slave3 节点机器上 −
主机名 slave3.in
使用以下行在集群的所有机器上更新 /etc/hosts −
192.168.1.102 slave3.in slave3
现在尝试使用主机名 ping 机器以检查它是否解析为 IP。
在新节点计算机上 −
ping master.in
在新节点上启动 DataNode
使用 $HADOOP_HOME/bin/hadoop-daemon.sh script 手动启动 datanode 守护进程。 它将自动联系主节点（NameNode）并加入集群。 我们还应该将新节点添加到主服务器的 conf/slaves 文件中。 基于脚本的命令将识别新节点。
登录新节点
su hadoop or ssh -X hadoop@192.168.1.103
使用以下命令在新添加的从节点上启动 HDFS
./bin/hadoop-daemon.sh start datanode
检查新节点上 jps 命令的输出。 它看起来如下。
$ jps 7141 DataNode 10312 Jps
从 Hadoop 集群中删除 DataNode
我们可以在集群运行时动态地从集群中删除节点，而不会丢失任何数据。 HDFS 提供了退役功能，可确保安全地执行删除节点。 要使用它，请按照以下步骤操作 −
步骤 1 − 登录到 master
登录到安装 Hadoop 的主机用户。
$ su hadoop
步骤 2 − 更改集群配置
在启动集群之前必须配置排除文件。 将一个名为 dfs.hosts.exclude 的键添加到我们的 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中。 与此键关联的值提供了 NameNode 本地文件系统上文件的完整路径，该文件包含不允许连接到 HDFS 的机器列表。
例如，将这些行添加到 etc/hadoop/hdfs-site.xml 文件中。
<property> <name>dfs.hosts.exclude</name> <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> <description>DFS exclude</description> </property>
步骤 3 − 确定要停用的主机
每台要退役的机器都应该添加到 hdfs_exclude.txt 标识的文件中，每行一个域名。 这将阻止他们连接到 NameNode。 如果要删除 DataNode2，"/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt" 文件的内容如下所示。
slave2.in
步骤 4 − 强制配置重新加载
运行不带引号的命令 "$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"。
$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
这将强制 NameNode 重新读取其配置，包括新更新的 'excludes' 排除文件。 它将在一段时间内停用节点，从而有时间将每个节点的块复制到计划保持活动状态的机器上。
在 slave2.in 上，检查 jps 命令输出。 一段时间后，您会看到 DataNode 进程自动关闭。
步骤 5 − 关停节点
退役程序完成后，可以安全关闭退役硬件进行维护。 向 dfsadmin 运行报告命令以检查停用状态。 以下命令将描述退役节点和连接到集群的节点的状态。
$ $HADOOP_HOME/bin/hadoop dfsadmin -report
步骤 6 − 再次编辑排除文件
机器退役后，可以从"excludes"排除文件中删除它们。 再次运行 "$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes" 会将排除文件读回 NameNode； 允许 DataNode 在维护完成后重新加入集群，或者集群再次需要额外的容量等。
特别说明 − 如果按照以上流程，并且tasktracker进程还在节点上运行，则需要关闭。 一种方法是像我们在上述步骤中所做的那样断开机器的连接。 Master 会自动识别这个进程，并宣布死亡。 无需遵循相同的过程来删除 tasktracker，因为与 DataNode 相比，它并不重要。 DataNode 包含您要安全删除的数据，而不会丢失任何数据。
tasktracker 可以随时通过以下命令运行/关闭。
$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker
