并行计算
(Parallel Computing)
并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。为执行并行计算,计算资源应包括一台配有多处理机(并行处理)的计算机、一个与网络相连的计算机专有编号,或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括:利用非本地资源,节约成本 ― 使用多个“廉价”计算资源取代大型计算机,同时克服单个计算机上存在的存储器限制。
传统地,串行计算是指在单个计算机(具有单个中央处理单元)上执行软件写操作。CPU 逐个使用一系列指令解决问题,但其中只有一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上演变而来,它努力仿真自然世界中的事务状态:一个序列中众多同时发生的、复杂且相关的事件。
为利用并行计算,通常计算问题表现为以下特征:
将工作分离成离散部分,有助于同时解决;
随时并及时地执行多个程序指令;
多计算资源下解决问题的耗时要少于单个计算资源下的耗时。
下面的矩阵列出了计算结构的4种可能性分类:
S I S D S I M D M I S D M I M D
单指令流单数据流 单指令流多数据流 多指令流单数据流 多指令流多数据流
在下面的站点上有相关的图片和示意图
参考资料: