行业背景
在能源行业中,一提到Linux,经常让人们联想到的就是石油勘探。过去,在石油行业中,由于较少使用科学的方法研究地下构造,经常出现打空井的情况,造成几千万甚至上亿元的投入浪费。现在,石油行业多采用地震勘探法来对石油资源进行勘探,能否快速的探明新的碳氢化合物的储藏地点,取决于能否对复杂的地震数据进行快速有效的分析,因此,就需要高性能运算集群(HPCC)来尽可能的缩短地震图像的处理时间以及提高储量仿真的效率。
石油数据高性能运算系统是一个解决算法复杂的高性能计算环境,这种计算环境不仅涉及专用软件性能、而且要涉及计算机操作系统的综合运算性能。尤其是新勘探技术的不断应用和开发,一些非常规处理的技术必须使用计算性能极高的计算机系统来实现。要解决测算过程中出现的疑难问题,必须要构建一套较大规模的高性能并行系统,而且该系统对高性能计算机群在性能、稳定性、管理上有很高的要求。
根据最近公布的世界500强超级计算机系统中,使用Linux 操作系统的,目前已经占到了280席,而在我国的各大油田,例如辽河油田,胜利油田等,都已经采用了基于Linux的高性能计算产品。通过几十甚至几百个运行 Linux 操作系统的计算节点,组成一个庞大的虚拟计算机,提供强大的并行运算能力,而价格却比小型机要便宜得多。
面临的问题
平台改造:
由于历史原因,在石油行业中服务器种类繁多,小型机、工作站到PC服务器都有部署,高性能运算使用的系统通常包括有IBM SP2、IBM SP3、HP、SUN、SGI origin、PC Cluster集群、Unix工作站集群(IBM、DEC、SGI、SUN、曙光)和Linux PC图形工作站群等多种平台。其特点是Unix并行机老化严重,主频低、处理能力严重不足。完全依赖它们来完成处理任务,已经很难解决数据处理过程中所面 临的难度越来越大、处理周期越来越短、数据量越来越大和资料所在区地质构造越来越复杂等实际问题。 对现有的RISC小型机进行升级改造迫在眉睫。
近几年来,随着PC技术的迅速发展,IA架构PC服务器与RISC架构的Unix服务器之间的技术差距已经大大缩小,而价格确要比RISC的UNIX服务器便宜很多,如果选择基于Linux平台高性价比的PC来替换原有的Unix服务器,既实现了应用软件与服务器节点分离,能在本地PC专业图形工作站上直接运行交互程序, 解决了在远程主机上运行程序响应速度慢的问题;又实现了通过性能良好的图形终端,用户可直接在本地完成交互处理任务。
性能问题
在存储管理上,石油行业多采用NAS进行数据集中存储,根据测试情况分析,采用集群进行高性能计算时的瓶颈主要表现在用于存储共享数据的NFS文件系统上,具体表现在:
1.常规的mount链路数会有一定的限制,当这个数量超过一定的级数时,系统的性能反而会更差。
2.在NFS文件结构中,数据块的空间一般为4k或者8k,数据在传输中进行打包与拆包所造成的系统性能消耗非常大。
因为上述原因,在一个高性能运算环境中,通常如果有超过16个节点同时访问NAS,就会造成整个集群运算性能的急剧衰减,性能问题制约了高性能运算系统的规模和整个集群系统的工作效率。
管理问题:
随着集群规模的扩大,石油行业的IT部门要面对集群中不断增加Linux服务器数量; 所有Linux的升级、管理、监控和统一布署应用;以及随之带来的运维人员工作量的增加,运维难度的增大,工作效率的降低和管理成本的增加。
红帽公司简介
红帽公司作为全球No.1的Linux公司和开源社区的领导者,一直积极从事Linux操作系统及相关的软件的开发和在企业中推广Linux的工作,其红帽企业Linux系列产品是所有Linux企业版中最成熟稳定的发行版并得到了开源社区和广大Linux用户的认可。根据权威统计公司IDC和Forester的报告,红帽企业Linux在北美占有86%的市场份额,在全球拥有70%的市场占有率。红帽公司全球的销售额平均年增长速度达到40%,新兴市场的增长率达到300%,在2006年,红帽公司的营业额达到4亿美金,是竞争对手的十倍。作为一个技术型公司,红帽在企业市场上能有如此旺盛的生命力与红帽的技术实力密不可分,红帽公司拥有近千名Linux研发工程师,对Linux内核及各GNU软件的代码贡献率居所有Linux厂商之首,研发实力无可比拟;红帽拥有完善的销售和服务网络,在全球近30多个国家拥有分公司和分支机构。
红帽公司现有大中型企业级客户10000多家,公司的软件产品涵盖从单一的操作系统到存储管理,高可用,身份认证,网络管理和中间件等各个方面,目前客户群主要集中在金融、电信、政府、能源、教育和制造等行业,红帽软件承担着越来越多的企业关键应用,红帽软件的服务模式给客户带来了巨大的效益,连续三年被评为全球最具价值的科技公司。
解决方案
红帽企业级Linux
目前主流的高性能运算解决方案全部基于Linux操作系统,红帽企业Linux具有一下这些特点:
高性能
可扩展
操作灵活
性价比高
红帽企业Linux具备非常好的软硬件生态系统,让用户可以有更多的软件和硬件选择,避免了厂商锁定,而且可以很方便的把一个小规模的高性能运算集群环境不间断的扩展到300个节点以上的大型并行运算系统。
在红帽企业Linux5中集成了虚拟化技术,通过虚拟化技术,可以在一台RHEL5上运行多个高性能运算节点,从而避免了升级改造中的代码移植、充分发挥服务器的运算性能并减少了硬件投资。
红帽公司和Intel、IBM、HP、DELL、联想、浪潮等国内外厂商有很好的合作关系,共同为用户提供基于红帽企业Linux的HPCC解决方案,满足石油行业对HPCC的各种技术需求。
红帽全局文件系统(GFS)
开源的集群文件系统,解决高性能运算环境中共享存储的问题,是最佳的NFS替代产品,最大允许300台服务器同时访问存储设备,具有一下的特点:
简化存储结构
对于一个集群环境,安装和给应用软件打补丁只需要一次
消除数据重复备份
最大化利用存储资源,降低存储采购费用
无缝扩展存储
最大化系统在线时间
更多其他的特性
用红帽GFS替换石油行业NFS管理共享存储可以简化HPCC集群环境的布署和管理难度、大幅度提升集群的运算效率、降低管理成本,最大化石化行业的利益。
红帽网络(RHN)
红帽网络是一种易于使用的系统管理平台,实现了对基于Linux的IT基础架构的全面管理,使用了基于Web的管理界面,通过RHN,运维人员可以通过Web界面对IT架构中所有的红帽企业Linux进行集中布署、升级、监控和管理工作,它可以大幅度降低总拥有成本,提高工作效率; 不需要添加额外的管理资源,就可以增加企业中Linux服务器管理的数量。
典型用户
大庆油田
大庆油田的油藏数值模拟系统项目。大庆油田希望通过该项目促进对油田剩余油的分析,进一步稳固油田的产量。大庆油田在确定选用Linux系统后,对国内主流的Linux产品进行了综合的分析。红帽企业Linux产品凭借良好的可扩展性、全面的服务支持能力、性价比高等优点脱颖而出。红帽与合作伙伴庆联公司一起,根据大庆油田的实际需求,充分调动资源为其提供了全面解决方案和服务。
中石油石油勘探数据高性能分析
采用137台Red Hat Linux构建中石油石油勘探地质数据高性能计算系统,代替原有传统的Unix系统,缩短了处理周期,降低了勘探成本,胜利油田勘测中的地质模型、油藏模拟、开发模拟以及炼油厂 的自动化监控等的工作效率都得到了大幅度提高,提供了更加可靠的勘探数据。
Gas Natural
将各种平台整合到红帽企业Linux; 构建一个适应企业快速发展的具备高度扩展能力和低成本的IT架构; 快速提高关键业务的信息数据仓库的性能; 采用红帽后总拥有成本降低25%,某些数据查寻最高最改可以获得5,214倍的性能提升。
Statoil
高性能运算平台。将HPCC平台从UNIX迁移到红帽企业Linux后节约了50%的成本,提升了HPCC环境40%的运算性能,该高性能运算集群是挪威最大的超级计算机系统。