毕业论文
您现在的位置: 在线软件 >> 在线软件市场 >> 正文 >> 正文

怎么安装大数据计算核心软件Hadoop进

来源:在线软件 时间:2023/6/23

由于安装配置Hadoop牵涉的内容较多,我将Hadoop的安装配置拆成了3篇文章来讲述。

这是第三篇。

参考我前面的文章:

一、怎么安装大数据计算核心软件Hadoop?进行分布式计算和存储第一篇

二、怎么安装大数据计算核心软件Hadoop?进行分布式计算和存储第二篇

本文的主要内容是:

1、日常Hadoop的启动顺序是怎样的;

2、如何确认我的Hadoop相关软件已经启动了。

日常启动hadoop

因为第一次启动需要初始化很多东西,启动起来就麻烦一些。但日常启动就相对简单一些,我们把相关的软件启动起来即可。本文可以作为日常的启动使用手册来看待。

Hadoop启动顺序:Zookeeper-Hadoop-HbaseHive…

0、停止所有服务

执行正确的Hadoop启动之前,需要先将所有相关的软件停止掉。否则,可能出现启动不了的情况。

停止Hbase,最好在hadoop(HMaster)上执行,如果没安装则不用管这个命令:

stop-hbase.sh

停止所有的HDFS和YARN服务,最好在hadoop(NameNode)上执行

stop-all.sh

停止历史记录服务,hadoop上执行:

mapred--daemonstophistoryserver

停止Zookeeper服务,分别在hadoop、hadoop、hadoop上操作:

zkServer.shstop

至此,Hadoop相关服务已经全部停止,下面一个一个的再给它启动起来:

1、启动ZooKeeper

在hadoop、hadoop、hadoop上分别执行以下命令:

zkServer.shstop

zkServer.shstart

jps

zkServer.shstatus

显示如下内容,则启动成功:

如果启动失败,则去查看对应的日志文件:/home/hadoop/zookeeper/logs/zookeeper-hadoop-server-hadoop.out,根据日志文件的内容做对应的调整设置。

三台Zookeeper服务启动成功以后,再启动Hadoop的HDFS服务。

2、启动HDFS

其中一台机器执行就OK了,比如:hadoop。

为防止服务没有停止完毕,则再执行一次停止服务:

stop-dfs.sh

如果出现错误,则在hadoop-env.sh中,再显式地重新声明一遍JAVA_HOME:

start-dfs.sh

执行命令查看:

jps

hadoop、hadoop上显示如下:

hadoop、、…显示如下:

如果启动失败,则去查看对应的日志文件:/home/hadoop/hadoop/logs/hadoop-hadoop-namenode-hadoop.log,根据日志文件的内容做对应的调整设置。

确保HDFS所以的服务器启动完毕之后,我们再启动YARN。

3、启动YARN

在主备resourcemanager(hadoop、hadoop)中随便选择一台进行启动。

为防止服务没有停止完毕,则再执行一次停止服务:

stop-yarn.sh

执行启动YARN服务:

start-yarn.sh

执行命令查看:

jps

hadoop、hadoop显示如下:

若备用节点的resourcemanager没有启动起来,则手动启动起来,在hadoop上进行手动启动,执行下述命令:

yarn-daemon.shstartresourcemanager

如果启动失败,则去查看对应的日志文件:/home/hadoop/zookeeper/logs/hadoop-hadoop-resourcemanager-hadoop.log,根据日志文件的内容做对应的调整设置。

HDFS和YARN启动完毕之后,再启动mapreduce任务历史服务器。

4、启动mapreduce任务历史服务器

在hadoop上执行如下命令:

为防止服务没有停止完毕,则再执行一次停止服务:

mapred--daemonstophistoryserver

执行启动历史服务器服务:

mapred--daemonstarthistoryserver

至此,所有的Hadoop的相关服务已经启动完毕,已经可以正常使用了。

如果已经安装了HBase,下面再将HBase启动起来。

5、启动HBase

hadoop上执行(如果安装了HBase则可以正常启动)

为防止服务没有停止完毕,则再执行一次停止服务:

stop-hbase.sh

执行启动HBase:

start-hbase.sh

如果你的启动状态跟我一样,可以忽略显示的那些错误。

6、查看各主节点的状态

查看HDFS的NameNode1的服务状态:

[hadoop

hadoop~]$hdfshaadmin-getServiceStatenn1

standby

查看HDFS的NameNode2的服务状态:

[hadoop

hadoop~]$hdfshaadmin-getServiceStatenn2

active

如果两个NameNode都是“standby”则执行:“hdfs--daemonstartzkfc”,再次激活一下选举制度。

查看YARN的ResourceManager1的服务状态:

[hadoop

hadoop~]$yarnrmadmin-getServiceStaterm1

active

查看YARN的ResourceManager2的服务状态:

[hadoop

hadoop~]$yarnrmadmin-getServiceStaterm2

standby

NameNode和ResourceManager都是有两个服务,而且总是一个active另一个standby。

7、WEB界面进行查看

WEB查看HDFS的NameNode的服务状态:

NameNode1(hadoop):

转载请注明:http://www.0431gb208.com/sjszlff/5161.html