|
今天来分享下hadoop的全分布式环境搭建。
Hadoop的全分布式的搭建基于伪分布式的基础上进行搭建，所以，在这里有一个要求就是必须先把hadoop的伪分布式环境搭建成功！（如果同学能力强，可以直接搭全分布式集群哦！）
这里介绍hadoop的全分布式集群主要有两种方式搭建：
一、修改完配置文件再进行节点克隆
具体步骤如下： 第一步：修改映射文件，编辑 /etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名 192.168.100.110 master[这是做伪分布式时配置好的] 192.168.100.111 slave01 192.168.100.112 slave02 192.168.100.113 slave03 第二步：进入hadoopd 的安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名 slave01 slave02 slave03 第三步：修改hdfs-site.xml文件，将副本数改为3份 第四步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。 第五步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules 第六步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成 第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机 第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机 第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机 第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)] 第十一步：初始化整个集群：hadoop namenode -format 第十二步：启动集群start-all.sh 集群启动好之后 主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager 第十三步：web页面访问
二、克隆之后再修改配置文件
第一步：克隆，关闭虚拟机后，选中要克隆的虚拟机，右击—>管理-->克隆—>下一步—>下一步-->创建完整克隆—>改主机名和设置克隆位置，然后点击完成[克隆出三个从节点之后，就可以修改配置文件了] 第二步：修改映射文件，编辑 etc/hosts文件，预先设计三台从节点的IP和主机名，具体如下，可以根据自己的喜好设置IP地址和主机名 192.168.100.110 master[这是做伪分布式时配置好的] 192.168.100.111 slave01 192.168.100.112 slave02 192.168.100.113 slave03 第三步：进入hadoopd安装目录下的/etc/hadoop/下，修改slaves文件，添加三台从节点的主机名 slave01 slave02 slave03 第四步：修改hdfs-site.xml文件，将副本数改为3份 第五步：删除伪分布式初始化的数据文件，就是$HADOOP_HOME/hadoop_tmp/下的所有文件，将该目录下的文件删除。 第六步：删除网卡绑定信息文件,进入/etc/udev/rules.d/目录下，删除70-persistent-net.rules 第七步：修改第一台从节点的IP地址以及主机名、重启虚拟机 第八步：修改第二台从节点的IP地址以及主机名、重启虚拟机 第九步：修改第三台从节点的IP地址以及主机名、重启虚拟机 第十步：ping各个节点的主机名，确保节点之间连接通畅以及免密是否成功 [注意：免密登录在之前的基础上复制公钥即可，ssh-copy-id slav01(slave02、slave03)] 第十一步：初始化整个集群：hadoop namenode -format 第十二步：启动集群start-all.sh 集群启动好之后 主节点上：NameNode、ResourceManger、SecondaryNamendoe 3台从节点上：DataNode NodeManager 第十三步：web页面访问
温馨提示：根据个人经验，操作第一种方式更加方便快捷
| 
简体中文
英语
日语
韩语
法语
西班牙语
越南语
泰语
阿拉伯语
俄语
葡萄牙语
德语
意大利语
希腊语
荷兰语
波兰语
保加利亚语
爱沙尼亚语
丹麦语
芬兰语
捷克语
罗马尼亚语
斯洛文尼亚语
瑞典语
匈牙利语
繁体中文
文言文
发表于 2021-6-24 13:56:15
置顶卡
喧嚣卡
变色卡
千斤顶
