分享
 
 
 

如何架构高性价比的分布式计算机集群(1)

王朝other·作者佚名  2008-05-18
窄屏简体版  字體: |||超大  

摘要

本文是详细记录了作者自己架设、调试、使用集群服务器的过程,全文内容翔实,有很高的参考阶值。在此我也代表全体Linux爱好者向他们这一无私奉献的精神表示感谢。

作者:Motorola Global Infrastructure Solutions Engineering Computing Ding Wei

摩托罗拉全球基础架构解决方案工程计算部 丁玮

北京蓝潮志诚网络有限责任公司(提供硬件支持) 杨波

正如你所看到的一样,你的机器在绝大多数时间是空闲的,如果你在Windows下用任务管理器或其他的Linux平台的工具(例如top, xload)观察CPU,你会看到CPU的使用率常见在1~2%。事实上,如果你有更多的计算机,这种浪费会加剧,在一个有300台计算机的部门里, CPU的空闲率是惊人的。然而这些部门还是需要强大的服务器用来编译或模拟计算,这样的情况还会加剧,不止需要一台,因为随着用户的增加,即使是8个 CPU的服务器,满负荷时也不能把任务交给另外的空闲服务器,因为用户很少会改变习惯去登陆另外一台服务器。如果能利用现有的计算资源,把空闲的CPU利用起来,或者能让服务器智能的迁移负荷,就是你看下去的理由。

集群的基本单位是单独的计算机,称为节点(node)。其可增长的特性,称为延展性(Scale),也就是向集群中加入计算机。集群没有严格的定义,可以说就是许多利用高速联接的,具有高速运算能力的,具有单一用户界面的计算机组合。这并不是集群的定义,而是表面现象的描述。集群中的节点需要硬件尽可能的一致,不一致的硬件集群称为异构集群,虽然这并不能改变集群的特性,但是异构导致集群会花费额外的时间来处理由于异构带来的延迟,另一方面这也是集群的优势,任何其他的多CPU系统都是严格要求CPU是一致的,集群就有足够的自由度增减节点,不受类型的限制。

本文选择MOSIX作为集群的方案,并使用无盘节点。架构集群并没有想象中那样复杂,参考下面的步骤可以一步步的架构集群,整个的方案并不是很昂贵,而且便于扩展。使用RedHat是因为在中国这是最有权威的版本,不论是初学者还是专业工作者,都可以在RedHat Linux中定制自己的版本。使用终端服务器LTSP是因为结构简单,便于快速扩展。使用的硬件是可以改进的,比如使用双CPU的主板和至强处理器,这样单一机柜中处理器就密集到48块CPU,本例中可以使用24块CPU。除了CPU以外,还可以使用千兆网卡或光纤网卡,交换机可以使用光纤交换机,内存总数可以达到48GB。但是随着硬件的升级,整体价格就会过高,而性能的提升并不是按比例的,因此本例的配置是性价比较好的组合。MOSIX是利用给内核源代码加补丁的办法,增加内核的功能来达到内核级的集群支持,通过编译后的内核启动的系统间类似SMP多处理器的系统,从外面的角度看只有一台有很多处理器的庞大机器,但是内部是用很多机器架构成的。而MOSIX集群的特点是对用户透明,原有的应用程序不需要修改代码即可以在集群中分布计算。

有几种情况是不需要使用集群系统的,使用类似网格计算的脚本就可以完成计算,比如三维动画的渲染,这类计算可以使用不同的节点,不需要对称的硬件,不需要一致的操作系统(需要应用具有支持不同操作系统的版本),只需要按照处理器来分割渲染的任务段,在每个节点上运行相应的任务段,然后合成所有节点的计算结果。因为计算数据是离散的(结果的连续是视觉的连续),因此用类似网格计算的脚本也可以完成。这类计算不需要使用集群也可以完成。

下面本文将告诉你如何准备硬件和软机环境。首先是规划你的计算环境。

硬件环境:

49U标准机柜,安装1U的交换机,24台2U机架式机箱。

1U的24口100MB交换机(不是集线器)

Intel P4 2GHz CPU,1GB DDR,Intel 845D主板,软驱,NVIDIA显卡(能启动X Windows就可以),2U机架式机箱,3C905B 10/100MB自适应网卡,网关需要配置光驱,80GB硬盘和双网卡。

5类线,按照693A压3米网线24根。

显示器,键盘,鼠标仅在安装时使用。

软件环境和必要的安装包(除特殊说明外,高版本不一定适用):

Redhat 7.2 CD1 和CD2安装光盘 www.redhat.com

dhcp-3.0.1rc9-1.i386.rpm是支持启动内核调用的DHCP版本www.redhat.com

dhcpcd-1.3.22pl1-7.i386.rpm是DHCPD守护进程www.redhat.com

mknbi-1.2-6.noarch.rpm是制作客户端启动内核的必要软件包www.redhat.com

MOSIX-1.6.0.tar.gz是原始的MOSIX文件,最新的版本是1.7.0 www.mosix.com

MOSKRN-1.6.0.tar.gz是原始MOSIX内核文件,最新的版本是1.7.0 www.moxis.com

openmosix-kernel-2.4.18-openmosix2.i386.rpm是MOSIX分支版本的通用内核,最新的版本是2.4.19 www.openmosix.org

openmosix-kernel-2.4.18-openmosix2.i686.rpm是MOSIX分支版本的新处理器内核,最新的版本是2.4.19 www.openmosix.org

openmosix-kernel-smp-2.4.18-openmosix2.i686.rpm是MOSIX分支版本的多处理器内核,最新的版本是2.4.19 www.openmosix.org

openmosix-kernel-2.4.18-openmosix2.src.rpm是MOSIX分支版本的源代码www.openmosix.org

openmosix-tools-0.2.2-1.i386.rpm是MOSIX分支版本的客户端工具www.openmosix.org

ltsp_core-3.0-11.i386.rpm是LTSP的核心文件www.ltsp.org

ltsp_kernel-3.0-3.i386.rpm是LTSP的内核www.ltsp.org

ltsp_floppyd-3.0.0-2.i386.rpm是LTSP的软盘工具www.ltsp.org

ltsp_initrd_kit-3.0.1-i386.tgz是LTSP的启动制作工具www.ltsp.org

linux_kernel-2.4.18.tar.gz是需要编译的内核源码www.kernel.org

网络配置环境:

网关对外网卡配置10.193.15.169,子网掩码255.255.255.0给内部网使用,用于登录和提交进程。网关对内网卡配置192.168.0.254,子网掩码255.255.255.0,网关为10.193.15.169给集群用于DHCP服务器,NFS 服务器,LTSP服务器。

网关对内网卡配置DHCP,分配地址从192.168.0.100到192.168.0.253,子网掩码255.255.255.0,都是C类。

当以上条件都具备时,可以开始架构MOSIX集群。

1.安装所有硬件,并能确保可以从光盘启动网关服务器系统,节点可以使用软盘启动,检查BIOS的启动设置,并确认可以正确启动。将所有节点和交换机安装到机柜上,用网线连接交换机和各节点,网关需要额外的网线连接到局域网,因为可以称集群计算环境为计算场(Computing Farm),因此对应局域网称集群系统的网络为计算网络。连接好电源后,使用两套显示器和键盘鼠标,分别连接一台节点机和网关服务器。

2.安装RedHat 7.2版本在具有两块网卡的网关服务器上,分区使用自动分区(比较简单,本文不讨论Linux其他问题),选择定制安装,但不要安装所有的软件包,除缺省的选择外,需要额外选择软件开发和内核开发两组软件包,安装时没有选择的软件包,可以在系统正常启动后参考“如何编译内核”中的软件包来安装。安装到网络配置时,按照网络环境配置IP地址,需要配置DNS的需要修改对外网卡的设置,使用小写mosix为主机名。安装完后需要验证网关服务器可以正常启动,按照个人喜好来设定系统,推荐使用文本模式,图形模式资源消耗较大。另外需要连接到RedHat网站升级有缺陷的软件包,减少系统漏洞,注意别把内核也升级了,并不是因为本文的操作,而是内核升级后,系统很可能启动失败,本文将自己编译内核。升级完成后重启,再次确认系统没有任何错误。

3.安装MOSIX包(openmosix的安装是另外的分支)需要很多步骤,注意操作步骤的准确性:

A,将所有下载的软件包上载到服务器的/usr/src/tmp目录下,确认下载的软件包是完整的,确认md5的校验结果一致:

su -

cd /usr/src/

makdir tmp

md5 package_file_name

B,将RedHat 7.2 CD2放入到光驱。参考以下操作确认编译内核需要的软件包已经存在:

mount /dev/cdrom /mnt/cdrom

cd /mnt/redhat/RPM

rpm -Uvh kernel-headers*

rpm -Uvh kernel-source*

rpm -Uvh kernel-doc*

rpm -Uvh dev86*

rpm -Uvh make-*

rpm -Uvh glibc-devel*

rpm -Uvh cpp*

rpm -Uvh ncurses-devel*

rpm -Uvh binutils*

rpm -Uvh gcc-2*

rpm -Uvh tftp*

cd /usr/src

umount /mnt/cdrom

C,安装需要的软件包,展开所有的tar.gz软件包:

tar xvfz MOSIX-1.6.0.tar.gz

tar xvfz MOSKRN-1.6.0.tar.gz

tar xvfz linux-2.4.18.tar.gz

D,如果展开文件没有错误,将各个软件展开目录移到正确的位置:

mv MOSIX-1.6.0 /usr/src/

mv MOSKRN-1.6.0 /usr/src/

mv linux /usr/src/linux-2.4.18

E,为了避免以往MOSIX脚本的错误,需要确认以下步骤:

chmod goa+x /usr/src/MOSIX-1.6.0/inst/add_kernel_to_grub

mkdir /usr/local/man

F,下面才是真正有趣和让人着迷的步骤,首先要创建编译内核配置文件的目录,这是个好习惯,因为每次的编译配置不一定相同,后面排错也会提到相关的问题:

cd /usr/src

mkdir config.backup

cd /usr/src/linux-2.4.7-10/configs

cp kernel-2.4.7-i686.config /usr/src/config.backup/kernel-2.4.8.config

G,将配置文件复制到待编译内核的目录:

cd /usr/src/

cp config.backup/kernel-2.4.18.config linux-2.4.18/.config

H,根据你的情况修改Makefiles的EXTRAVERSION部分,原值为18,可改为mosix来标明编译后的内核版本,并可以区分模块的版本。

cd /usr/src/linux-2.4.18

vi Makefile

EXTRAVERSION = 18

I,开始安装MOSIX 1.6.0

cd /usr/src/MOSIX-1.6.0

./mosix.install

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有