当前位置: 首页 > >

hadoop完全分布式的安装部署

发布时间:

hadoop完全分布式安装部署
前提

1、准备3台客户机(关闭防火墙、静态ip、主机名称
2、安装JDK
3、配置环境变量
4、安装Hadoop
5、配置环境变量
8、配置ssh


本博客所涉及内容

1、配置集群
2、单点启动
3、群起并测试集群


本博客只有hadoop完全分布式的“配置集群”:,其他内容可参考本博主的其他博客,谢谢!!


hadoop安装

官网下载hadoop2.7.2安装包


Apache Hadoop


官网地址:http://hadoop.apache.org/
下载地址:https://archive.apache.org/dist/hadoop/common/


然后直接解压文件即可


hadoop组件部署

1、集群部署规划


masterslave1slave2
HDFSNameNode DatanadeDatanodeSecondaryNameNode Datanode
YARNNodeManagerResourceManager NodeManagerNodeManager

2、配置集群


(1)核心文件配置
配置core-site.xml


[root@master hadoop]$ vi core-site.xml

在文件 中添加内容





fs.defaultFS
hdfs://master:9000




hadoop.tmp.dir
/usr/local/src/hadoop-2.7.2/data/tmp



(2)HDFS配置文件
配置hadoop-env.sh
只要遇到env的文件,就是修改jdk环境


[root@master hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_144

配置hdfs-site.xml


[root@master hadoop]# vim hdfs-site.xml



dfs.replication
3




dfs.namenode.secondary.http-address
slave2:50090



(3)YARN配置文件


配置yarn-env.sh


[root@master hadoop]$ vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_144

配置yarn-site.xml


[root@master hadoop]$ vim yarn-site.xml

添加配置




yarn.nodemanager.aux-services
mapreduce_shuffle





yarn.resourcemanager.hostname
slave1



(4)MapReduce的配置文件


配置mapred-env.sh


[root@master hadoop]$ vi mapred-env.sh
export JAVA_HOME=/usr/loca/src/jdk1.8.0_144

配置mapred-site.xml


[root@master hadoop]$ cp mapred-site.xml.template mapred-site.xml

[root@master hadoop]$ vi mapred-site.xml

添加配置




mapreduce.framework.name
yarn



(5)配置slaves


master
slave1
slave2

3、分发文件
将master配置好的hadoop文件分发给slave1和slave2


[root@master hadoop]# scp -r /usr/local/src/hadoop-2.7.2 root@slave1:/usr/local/src/
[root@master hadoop]# scp -r /usr/local/src/hadoop-2.7.2 root@slave2:/usr/local/src/

4、集群群启动
群起前提是已配置ssh免密登录
首次启动需格式化namenode


[root@master hadoop]#bin/hdfs namenode -format

启动集群


[root@master hadoop]#sbin/start-dfs.sh
[root@master hadoop]#sbin/start-yarn.sh

最后在各个节点查看是否与“集群部署规划”的一样



友情链接: