• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

hadoop下ssh的配置

mysql 搞代码 4年前 (2022-01-09) 13次浏览 已收录 0个评论

centos系统自带ssh,版本为openssh4.3 免密码ssh设置(合适的权限很重要) 登入hadoop账户,建立ssh文件夹 mkdir .ssh 现在确认能否不输入口令就用ssh登录本机: $ ssh namenode 如果不输入口令就无法用ssh登陆namenode,执行下面的命令: $ ssh-keygen -t rsa

centos系统自带ssh,版本为openssh4.3

免密码ssh设置(合适的权限很重要)

登入hadoop账户,建立ssh文件夹 mkdir .ssh

现在确认能否不输入口令就用ssh登录本机:

$ ssh namenode

如果不输入口令就无法用ssh登陆namenode,执行下面的命令:

$ ssh-keygen -t rsa –f ~/.ssh/id_rsa

回车设置密钥,可以设置一个密钥,也可以设置为空密钥。但是安全起见,设置密钥为hadoop,下面利用ssh-agent来设置免密钥登陆集群中其他机器。

私钥放在由-f选项指定的文件之中,例如~/.ssh/id_rsa。存放公钥的文件名称与私钥类似,但是以’.pub’为后缀,本例为~/.ssh/id_rsa.pub

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将ssh密钥存放在namenode机器的~/.ssh/authorized_keys文件中。

再用scp命令将authorized_keys和id_rsa.pub分发到其它机器的相同文件夹下,例如,将authorized_keys文件分发给datanode1机器的.ssh文件夹的命令为:

$scp ~/.ssh/id_dsa.pub hadoop@datanode1:/home/hadoop/.ssh

到datanode1机器上 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

理论上要将公钥发放给各机器然后再各个机器上生成authorized_keys文件,实际上直接分发authorized_keys文件也可以

然后赋予文件权限,赋予各机器的.ssh文件夹权限为711,authorized_keys的权限为644。过高的权限不能通过ssh-add命令,过低的权限无法实现免密码登录。

添加ssh-agent:

$eval `ssh-agent -s` 注意这里是反引号

输入命令

$ssh-add,输入id_rsa私钥的密码。

为了使ssh-agent自动运行,将它写到profile中,在/etc/profile.d下新建ssh-agent.sh文件:

$sudo gedit /etc/profile.d/ssh-agent.sh

将以下语句加入

#!/bin/sh

if [ -f ~/.agent.env ]; then

. ~/.agent.env >/dev/null

if ! kill -0 $SSH_AGENT_PID >/dev/null 2>&1; then

echo “Stale agent file found. Spawning new agent…”

eval `ssh-agent |tee ~/.agent.env`

s本文来源gao.dai.ma.com搞@代*码#网sh-add

fi

else

echo “Starting ssh-agent…”

eval `ssh-agent |tee ~/.agent.env`

ssh-add

fi

这样就不会生成太多的ssh-agent程序,而且支持GUI环境。打开终端:

Stale agent file found. Spawning new agent…

Agent pid 2543

Identity added: /root/.ssh/id_rsa (/root/.ssh/id_rsa)

添加了新的密钥。

这一切都操作完了后

$ ssh datanode1

实验是否已经可以免密码登录datanode1

对于jobtracker,由于也作为master,所以可以利用相同的密钥也存放在authorized_keys的文件中,而将公钥分发给各机器后,添加到authorized_keys中,分发的机器名存放在know_hosts文件下,这样也可以通过jobtracker机器免密钥登录集群的其他机器。


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:hadoop下ssh的配置

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址