hadoop2.3.0HA配置

环境：rehl 6.4 ，apache hadoop 2.3.0 三台主机gtx1，gtx2，gtx3 构成hadoop集群，zookeeper已经正确配置并启动 1.1修改core-site.xml配置： property namefs.defaultFS/name valuehdfs://gtxcluster/value/propertyproperty nameha.zookeeper.quorum/name

环境：rehl 6.4 ，apache hadoop 2.3.0

三台主机gtx1，gtx2，gtx3 构成hadoop集群，zookeeper已经正确配置并启动

1.1修改core-site.xml配置：

 
   fs.defaultFS 
   hdfs://gtxcluster 
 
 
   ha.zookeeper.quorum 
   gtx1:2181,gtx2:2181,gtx3:2181 
  

1.2修改hdfs-site.xml，添加如下配置：

 
   dfs.nameservices 
   gtxcluster 
 
 
   dfs.ha.namenodes.gtxcluster 
   nn1,nn2 
 
 
   dfs.namenode.rpc-address.gtxcluster.nn1 
   gtx3:9009 
 
 
   dfs.namenode.rpc-address.gtxcluster.nn2 
   gtx2:9009 
 
 
   dfs.namenode.http-address.gtxcluster.nn1 
   gtx3:50070 
 
 
   dfs.namenode.http-address.gtxcluster.nn2 
   gtx2:50070 
 
 
   dfs.namenode.shared.edits.dir 
   qjournal://gtx3:8485;gtx2:8485;gtx1:8485/gtxcluster 
 
 
   dfs.client.failover.proxy.provider.gtxcluster 
   org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 
 
 
   dfs.ha.fencing.methods 
   shell(/bin/true) 
 
 
   fs.defaultFS 
   hdfs://gtxcluster 
 
 
   dfs.journalnode.edits.dir 
   /data/hadoop/data/journal 
 
 
   dfs.ha.automatic-failover.enabled 
   true 
  

2启动服务

2.1初始化zookeeper

在nn1上执行：

hdfs zkfc -formatZK 

2.2在所有journalnode节点上启动journalnode

hadoop-daemon.sh start journalnode 

2.3格式化nn1（如果是新集群），在nn1上执行

hadoop namenode -format  

*初始化journalnode*实测结果表明在2.3.0中此步做不做都不影响，考虑到操作完整性还是建议做

hdfs namenode -initializeSharedEdits 

2.4启动nn1:在nn1节点上执行：

hadoop-daemon.sh start namenode 

2.5让nn2从nn1上拉去fsimage，在nn2上执行：

hdfs namenode -bootstrapStandby 

2.6启动nn2，在nn2上执行：

hadoop-daemon.sh start namenode 

此时nn1和nn2都处于standby状态，因为在hdfs-site.xml中配置了dfs.ha.automatic-failover.enabled参数为true，所以不能通过手工方式切换状态，需要依赖zkfc

2.7启动所有datanode，在nn1上执行：

hadoop-daemons.sh start datanode 

2.8 启动zkfc，实现HA的自动切换，启动zkfc后，先启动的nn会自动进入active状态，另一个仍保持standby状态

在nn1上和nn2上分别执行：

hadoop-daemon.sh start zkfc 

3 检查集群状态和进程状态

3.1 在任意nn上执行 jps显示进程如下：

hadoop@GTX3 bin]$ jps
6496 Jps
6439 DFSZKFailoverController
5712 JournalNode
6077 NameNode
6293 DataNode
23504 QuorumPeerMain

3.2查看nn状态

在任意nn上执行：

hdfs haadmin -getServiceState nn1 结果显示为active

hdfs haadmin -getServiceState nn2 结果显示为stanby

备注：如果没有配置自动ha，则可以通过hdfs dfsadmin -transitionToActive nnx 将其中一个nn手动切换为active状态，切换成standby状态同理，使用 -transitionToStandby参数、

查看更多关于hadoop2.3.0HA配置的详细内容...