您当前位置:优侠库 > 资讯攻略 >
来源:未知
2021-09-08 00:37:34 浏览: 分类:资讯攻略

ubuntu下hadoop的部署

网上有很多关于linux下hadoop部署的教程,但是同一个教程在不同机器上的效果可能不一样,很多像我这样的新手都不愿意去follow的官方英文部署。所以,我把hadoop的部署过程写在这里,希望对大家有所帮助。

****************************************************

实践环境:

1.用户名:sa,环境:UBUNTU10.04,IP: 192.168.0.102,角色:namenode,master,jobtracker

2.用户名:sa,环境:UBUNTU9.10,IP: 192.168.0.103,角色:datanode,slave,tasktracker

两台计算机的用户名必须保持一致,否则以后调试不会成功。

****************************************************

主要步骤:

1.修改主机名。

2.安装SSH实现SSH免密码登录。

3.关闭防火墙

4.安装jdk和Hadoop

5.配置hadoop

****************************************************

1.修改主机名:

在/etc/hosts文件中修改它:

sa@sa:~$ cd..

sa@sa:/home$ cd..

sa@sa:/$ cd等/

sa@sa:/etc$ sudo gedit主机

[sudo]sa的密码:

输入密码后,将主机文件更改为:

127.0.0.1本地主机.本地域本地主机

192.168.0.102南非

192

* 1台本地主机ip6-本地主机ip6-环回

fe00::0 ip6-本地网

ff00::0 ip6-mcastprefix

ff02::1 ip6-所有节点

ff02::2个ip6-全路由器

ff02::3 ip6-所有主机

(此处#可能无法识别,请删除该行)

/*

在所有机器都被改变之后,对应的机器是好的,但是ping它们以查看它们是否成功:

PING ubuntu (192.168.0.103) 56(84)字节的数据。

来自ubuntu的64个字节(192 . 168 . 0 . 103):icmp _ seq = 1 TTL = 64 time = 0.393 ms

来自ubuntu的64个字节(192 . 168 . 0 . 103):icmp _ seq = 2 TTL = 64 time = 0.374 ms

来自ubuntu的64个字节(192 . 168 . 0 . 103):icmp _ seq = 3 TTL = 64 time = 0.373 ms

C

- ubuntu ping统计数据-

发送3个数据包,接收3个数据包,0%数据包丢失,时间1998毫秒

rtt最小值/平均值/最大值/mdev = 0.373/0.380/0.393/0.009毫秒

*/

****************************************************

2.安装SSH实现SSH免密码登录。

2.1安装ssh: sudo apt-get安装OpenSSH-server

2.2实现SSH无密码登录:

在这里参考这个文件:linux.chinaunix.net/techdoc/net/2007/08/08/964784.shtml " >http://Linux . China UNIX . net/tech doc/net/2007/08/08/964784 . shtml

非常详细。摘录如下:

*************************

服务器之间建立信任关系是监控服务器管理的必要条件。这里介绍ssh的免密码登录。

Ip:192.168.1.6

[root@codfei ~]# ssh-keygen -t rsa

正在生成公钥/私钥对。

输入保存密钥的文件(/root/)。ssh/id_rsa):

/root/。ssh/id_rsa已经存在。

覆盖(是/否)?y(我以为是第二次建立关系,所以在这里盖了原档案)

输入短语(无密码短语为空):(直接输入时不需要输入密钥)

再次输入相同的密码:

您的标识已保存在/root/中。ssh/id_rsa。

您的公钥已保存在/root/中。ssh/id_rsa.pub。

关键指纹是:

04:37:13:2a:4b:10:af:C1:2b:03:3f:6b:27:ce:B9:62 root @ codfei

[root@codfei ~]# cd。ssh/

【root@codfei。ssh]# ll

-rw-1 root root 883 Apr 25 17:51 id _ RSA

-rw-r-r-1 root root 221 Apr 25 17:51 id _ RSA . pub

-rw-r - r - 1 root root 442 Apr 25 17:37已知主机

Id_rsa是密钥文件,id_rsa.pub是公钥文件。

【root@codfei。ssh]# scp id _ RSA . pub 192 . 168 . 1 . 4:/root/。ssh/192.168

root@192.168.1.4的密码:

id_rsa.pub 100% 221 0.2KB/s 00:00

在这里,公钥文件被命名为这台机器的ip地址,以便在将来与更多的机器建立信任关系而不会混淆。

现在登录192.168.1.4机器。

[root@codfei ~]# cd。ssh/

【root@codfei。ssh]# cat 192 . 168 . 1 . 6 & gt;& gt授权_密钥

然后直接回到192.168.1.6机器

【root@codfei。ssh]# 192 . 168 . 1 . 4

上次登录时间:2007年8月8日星期三12:14:42从192.168.1.6开始

没关系,偶尔会涉及权限问题。将军。/ssh文件夹是755 authorized_keys是600或644。

****************************************************

3.关闭防火墙

sa@sa:~$ sudo ufw禁用

系统启动时自动禁用防火墙。

****************************************************

本文链接:http://www.123down.cn/gonglue/227439.html

攻略资讯
安卓软件