hadoop完全分布式文件系统集群搭建

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: |||超大  

一、准备工作:

1、找3台以上的主机(因为HDFS文件系统中保存的文件的blocak在datanode中至少要有3份或3份以上的备份,备份不能放于同一个机架上,更不能放于同一台主机上),我这里使用的是4台,分别是hadoop1、hadoop2、hadoop3和hadoop4。

2、安装每台主机的基本环境:linuxCentOS6.5 64x系统,启动每台主机的系统,配置好网络和主机名《====》ip的映射。

配置网络的文件在:/etc/sysconfig/network-scripts/ifcfg-eth0文件中

注:每一台主机都要配置,但是IP不能重复。

主机名与IP的映射文件在:/etc/hosts文件中

3、关闭每台主机的防火墙。注:必须关闭,千万不能忘记,我已经在这个上面吃亏很多次了。

Command:service iptables stop

4、同步每台主机的时间,这里使用的是上海交通大学网络中心NTP服务器来同步时间。

Command:ntpdate ntp.sjtu.edu.cn

二、安装并配置zookeeper服务器:这里将主机名为hadoop1、hadoop2和hadoop3的主机定为zookeeper服务器。

1、在hadoop1中安装zookeeper。自己从zookeeper官方网站上下载,我这里使用的是zookeeper-3.4.6,安装步骤不在这里详解了。

2、使用vim 编辑器修改zookeeper安装目录中conf下的zoo_sample.cfg文件,即zookeeper的配置文件。vim是vi编辑器的升级版,可自行安装,使用vi也可以。

Command:vi /root/zookeeper-3.4.6/conf/zoo_sample.cfg

3、在zoo_sample.cfg文件的末尾添加:

4、通过网络拷贝命令将hadoop1上的zookeeper安装目录拷贝到hadoop2和hadoop3的相同目录下:

Command:

scp/root/zookeeper-3.4.6 root@hadoop2:/root/scp/root/zookeeper-3.4.6 root@hadoop3:/root/

5、为各zookeeper服务器主机创建/home/zk_data目录

Command:

mkdir/home/zk_data

6、为各zookeeper服务器配置myid文件,myid这个文件是不存在的,使用vim编辑器编辑保存后会自动创建该文件,该文件的内容为上述配置文件中为其zookeeper服务器在server.x=hadoopx:2888:3888中server后面的x代表的id,编辑保存即可。每台zookeeper服务器主机都要配置。

Command:

vim/home/zk_data/myid

7、启动3台zookeeper服务器

Command:/root/zookeeper-3.4.6/bin/skServer.sh start

8、到zookeeper安装目录的父目录中查看日志文件,看是否启动成功

三、配置HDFS中的namenode、JN,这里将hadoop1和hadoop4定为namenode,将hadoop1-3定为JN。

1、在hadoop1主机中安装hadoop,我这里安装的是hadoop-2.5.1。

2、修改hadoop1配置文件中hdfs-site.cfg文件

3、修改hadoop1配置文件中core-site.cfg文件

4、通过网络拷贝命令将hadoop1中hadoop的安装目录拷贝到另外三台机器中。

Command:

scp/root/hadoop-2.5.1 root@hadoop2:/root/scp/root/hadoop-2.5.1 root@hadoop3:/root/scp/root/hadoop-2.5.1 root@hadoop4:/root/

5、启动hadoop1-3主机中的JN

Command:/root/hadoop-2.5.1/sbin/hadoop-deamon.sh start journalnode

6、初始化主机hadoop1中的hadoop

Command:/root/hadoop-2.5.1/bin/hdfs namenode -format

7、关闭hadoop1-3主机中的JN

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop journalnode

8、在hadoop1中执行:

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh start namenode

9、在hadoop4中执行:

Command:/root/hadoop-2.5.1/bin/hdfs namenode -bootstrapStandby

10、关闭hadoop1的namenode

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop namenode

11、在ZK中创建znode来存储automatic Failover的数据,在hadoop1中执行:

Command:/root/hadoop-2.5.1/bin/hdfs zkfc -formatZK

12、从hadoop1启动namenode

Command:/root/hadoop-2.5.1/sbin/start-dfs.sh

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
 
© 2005- 王朝網路 版權所有 導航