由于安装配置Hadoop牵涉的内容较多,我将Hadoop的安装配置拆成了3篇文章来讲述。
这是第三篇。
参考我前面的文章:
一、怎么安装大数据计算核心软件Hadoop?进行分布式计算和存储第一篇
二、怎么安装大数据计算核心软件Hadoop?进行分布式计算和存储第二篇
本文的主要内容是:
1、日常Hadoop的启动顺序是怎样的;
2、如何确认我的Hadoop相关软件已经启动了。
日常启动hadoop
因为第一次启动需要初始化很多东西,启动起来就麻烦一些。但日常启动就相对简单一些,我们把相关的软件启动起来即可。本文可以作为日常的启动使用手册来看待。
Hadoop启动顺序:Zookeeper-Hadoop-HbaseHive…
0、停止所有服务
执行正确的Hadoop启动之前,需要先将所有相关的软件停止掉。否则,可能出现启动不了的情况。
停止Hbase,最好在hadoop(HMaster)上执行,如果没安装则不用管这个命令:
stop-hbase.sh
停止所有的HDFS和YARN服务,最好在hadoop(NameNode)上执行
stop-all.sh
停止历史记录服务,hadoop上执行:
mapred--daemonstophistoryserver
停止Zookeeper服务,分别在hadoop、hadoop、hadoop上操作:
zkServer.shstop
至此,Hadoop相关服务已经全部停止,下面一个一个的再给它启动起来:
1、启动ZooKeeper
在hadoop、hadoop、hadoop上分别执行以下命令:
zkServer.shstop
zkServer.shstart
jps
zkServer.shstatus
显示如下内容,则启动成功:
如果启动失败,则去查看对应的日志文件:/home/hadoop/zookeeper/logs/zookeeper-hadoop-server-hadoop.out,根据日志文件的内容做对应的调整设置。
三台Zookeeper服务启动成功以后,再启动Hadoop的HDFS服务。
2、启动HDFS
其中一台机器执行就OK了,比如:hadoop。
为防止服务没有停止完毕,则再执行一次停止服务:
stop-dfs.sh
如果出现错误,则在hadoop-env.sh中,再显式地重新声明一遍JAVA_HOME:
start-dfs.sh
执行命令查看:
jps
hadoop、hadoop上显示如下:
hadoop、、…显示如下:
如果启动失败,则去查看对应的日志文件:/home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop.log,根据日志文件的内容做对应的调整设置。
确保HDFS所以的服务器启动完毕之后,我们再启动YARN。
3、启动YARN
在主备resourcemanager(hadoop、hadoop)中随便选择一台进行启动。
为防止服务没有停止完毕,则再执行一次停止服务:
stop-yarn.sh
执行启动YARN服务:
start-yarn.sh
执行命令查看:
jps
hadoop、hadoop显示如下:
若备用节点的resourcemanager没有启动起来,则手动启动起来,在hadoop上进行手动启动,执行下述命令:
yarn-daemon.shstartresourcemanager
如果启动失败,则去查看对应的日志文件:/home/hadoop/zookeeper/logs/hadoop-hadoop-resourcemanager-hadoop.log,根据日志文件的内容做对应的调整设置。
HDFS和YARN启动完毕之后,再启动mapreduce任务历史服务器。
4、启动mapreduce任务历史服务器
在hadoop上执行如下命令:
为防止服务没有停止完毕,则再执行一次停止服务:
mapred--daemonstophistoryserver
执行启动历史服务器服务:
mapred--daemonstarthistoryserver
至此,所有的Hadoop的相关服务已经启动完毕,已经可以正常使用了。
如果已经安装了HBase,下面再将HBase启动起来。
5、启动HBase
hadoop上执行(如果安装了HBase则可以正常启动)
为防止服务没有停止完毕,则再执行一次停止服务:
stop-hbase.sh
执行启动HBase:
start-hbase.sh
如果你的启动状态跟我一样,可以忽略显示的那些错误。
6、查看各主节点的状态
查看HDFS的NameNode1的服务状态:
[hadoop
hadoop~]$hdfshaadmin-getServiceStatenn1standby
查看HDFS的NameNode2的服务状态:
[hadoop
hadoop~]$hdfshaadmin-getServiceStatenn2active
如果两个NameNode都是“standby”则执行:“hdfs--daemonstartzkfc”,再次激活一下选举制度。
查看YARN的ResourceManager1的服务状态:
[hadoop
hadoop~]$yarnrmadmin-getServiceStaterm1active
查看YARN的ResourceManager2的服务状态:
[hadoop
hadoop~]$yarnrmadmin-getServiceStaterm2standby
NameNode和ResourceManager都是有两个服务,而且总是一个active另一个standby。
7、WEB界面进行查看
WEB查看HDFS的NameNode的服务状态:
NameNode1(hadoop):
转载请注明:http://www.0431gb208.com/sjszlff/5161.html