分享
 
 
 

hadoop完全分布式文件系统集群搭建

王朝学院·作者佚名  2016-08-27
窄屏简体版  字體: |||超大  

一、准备工作:

1、找3台以上的主机(因为HDFS文件系统中保存的文件的blocak在datanode中至少要有3份或3份以上的备份,备份不能放于同一个机架上,更不能放于同一台主机上),我这里使用的是4台,分别是hadoop1、hadoop2、hadoop3和hadoop4。

2、安装每台主机的基本环境:linuxCentOS6.5 64x系统,启动每台主机的系统,配置好网络和主机名《====》ip的映射。

配置网络的文件在:/etc/sysconfig/network-scripts/ifcfg-eth0文件中

注:每一台主机都要配置,但是IP不能重复。

主机名与IP的映射文件在:/etc/hosts文件中

3、关闭每台主机的防火墙。注:必须关闭,千万不能忘记,我已经在这个上面吃亏很多次了。

Command:service iptables stop

4、同步每台主机的时间,这里使用的是上海交通大学网络中心NTP服务器来同步时间。

Command:ntpdate ntp.sjtu.edu.cn

二、安装并配置zookeeper服务器:这里将主机名为hadoop1、hadoop2和hadoop3的主机定为zookeeper服务器。

1、在hadoop1中安装zookeeper。自己从zookeeper官方网站上下载,我这里使用的是zookeeper-3.4.6,安装步骤不在这里详解了。

2、使用vim 编辑器修改zookeeper安装目录中conf下的zoo_sample.cfg文件,即zookeeper的配置文件。vim是vi编辑器的升级版,可自行安装,使用vi也可以。

Command:vi /root/zookeeper-3.4.6/conf/zoo_sample.cfg

3、在zoo_sample.cfg文件的末尾添加:

4、通过网络拷贝命令将hadoop1上的zookeeper安装目录拷贝到hadoop2和hadoop3的相同目录下:

Command:

scp/root/zookeeper-3.4.6 root@hadoop2:/root/scp/root/zookeeper-3.4.6 root@hadoop3:/root/

5、为各zookeeper服务器主机创建/home/zk_data目录

Command:

mkdir/home/zk_data

6、为各zookeeper服务器配置myid文件,myid这个文件是不存在的,使用vim编辑器编辑保存后会自动创建该文件,该文件的内容为上述配置文件中为其zookeeper服务器在server.x=hadoopx:2888:3888中server后面的x代表的id,编辑保存即可。每台zookeeper服务器主机都要配置。

Command:

vim/home/zk_data/myid

7、启动3台zookeeper服务器

Command:/root/zookeeper-3.4.6/bin/skServer.sh start

8、到zookeeper安装目录的父目录中查看日志文件,看是否启动成功

三、配置HDFS中的namenode、JN,这里将hadoop1和hadoop4定为namenode,将hadoop1-3定为JN。

1、在hadoop1主机中安装hadoop,我这里安装的是hadoop-2.5.1。

2、修改hadoop1配置文件中hdfs-site.cfg文件

3、修改hadoop1配置文件中core-site.cfg文件

4、通过网络拷贝命令将hadoop1中hadoop的安装目录拷贝到另外三台机器中。

Command:

scp/root/hadoop-2.5.1 root@hadoop2:/root/scp/root/hadoop-2.5.1 root@hadoop3:/root/scp/root/hadoop-2.5.1 root@hadoop4:/root/

5、启动hadoop1-3主机中的JN

Command:/root/hadoop-2.5.1/sbin/hadoop-deamon.sh start journalnode

6、初始化主机hadoop1中的hadoop

Command:/root/hadoop-2.5.1/bin/hdfs namenode -format

7、关闭hadoop1-3主机中的JN

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop journalnode

8、在hadoop1中执行:

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh start namenode

9、在hadoop4中执行:

Command:/root/hadoop-2.5.1/bin/hdfs namenode -bootstrapStandby

10、关闭hadoop1的namenode

Command:/root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop namenode

11、在ZK中创建znode来存储automatic Failover的数据,在hadoop1中执行:

Command:/root/hadoop-2.5.1/bin/hdfs zkfc -formatZK

12、从hadoop1启动namenode

Command:/root/hadoop-2.5.1/sbin/start-dfs.sh

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有