hadoop学习(九)Hadoop2.2.0HAzookeeper3.4.5详细配置过程错误处理(2) Hadoop2.2.0HAzookeeper3.4.5详细配置过程体系结构错误处理(2) 这篇文章,主要是针对zookeeper和hadoop集群的整体测试,以及自己在实际过程遇到的问题和解决思路。 整个过程是,痛苦、无
hadoop学习(九)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(2)
Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+体系结构+错误处理(2)
这篇文章,主要是针对zookeeper和hadoop集群的整体测试,以及自己在实际过程遇到本文来源gaodai#ma#com搞*!代#%^码网5的问题和解决思路。
整个过程是,痛苦、无奈和纠结的。伴随着N多夜晚。总结的过程就超过10个小时。还有很多问题都没有写完,后续会继续跟近,也欢迎与读者讨论交谈。
读者有益,写着有劳。关爱身边每一个人,热爱身体,珍惜生命,且行且珍惜。
http://blog.gaodaima.com/yczws1/article/details/23594149
测试启动
按照下面的每一步执行,执行完一定要看输出的信息,注意warn或error或fatal的情况。因为这都是可能是问题出现的地方。出现一个问题,不解决,可能就会影响接下来的测试。这才是真正的工作量。
1、启动zookeeper
在hadoop1、hadoop2、hadoop3、hadoop4、hadoop5上zookeeper目录下分别执行命令:bin/zkServer.sh start
在每一台机器执行完上面的命令后,执行jps,会显示:这是初步认定启动没有问题
<span style="margin: 0px;padding: 0px"> <span style="margin: 0px;padding: 0px;font-size: 12px">23598 Jps 22491 QuorumPeerMain </span></span>
当所有机器执行上述命令完毕后,再在每台机器上执行:bin/zkServer.sh status 查看每台机器zookeeper的状态,正确的话,只有一台机器是leader,其余机器都是显示folower。1-5台机器都需要测试一下,效果如下:
<span style="margin: 0px;padding: 0px"> <span style="margin: 0px;padding: 0px;font-size: 12px">tom@hadoop4:~yarn/hadoop2.2.0/app/zookeeper/bin$ ./zkServer.sh status JMX enabled by default Using config: /home/ericsson/zookeeper/bin/../conf/zoo.cfg Mode: follower tom@hadoop4:~yarn/hadoop2.2.0/app/zookeeper/bin$ </span></span>
2、验证格式化zookeeper
2.1执行zkCli.sh
在hadoop1机器上,hadoop目录,执行zkCli.sh 终端上会输出一连串的信息。最后结束的信息是
<span style="margin: 0px;padding: 0px;font-size: 12px">Welcome to ZooKeeper!2014-04-08 16:44:40,028 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@966] - Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)2014-04-08 16:44:40,033 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@849] - Socket connection established to localhost/127.0.0.1:2181, initiating sessionJLine support is enabled2014-04-08 16:44:40,094 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x145407bbc720004, negotiated timeout = 30000WATCHER::WatchedEvent state:SyncConnected type:None path:nullls /[zookeeper][zk: localhost:2181(CONNECTED) 1] [zk: localhost:2181(CONNECTED) 1] </span>