OS/360的最早版本是严格的批处理系统。然而许多360用户希望使用分时系统，于是在IBM公司内部和公司外的一些研究小组决定为它编写一个分时系统。在后来推出了正式的IBM分时系统TSS/360.但是它非常庞大，运行缓慢，几乎没有什么单位愿意使用它。结果在花费了约五千万美元的研制费用后，该系统最后被弃之不用。但是在麻省剑桥的一个IBM研究中心开发了另一个完全不同的系统，这就是VM/370. 这个系统最初被命名为CP/CMS。它基于下面一种机敏的观察：分时系统应该提供（1）多道程序设计和（2）一个具有比裸机更方便接口的扩展计算机。VM/370存在的目的是在于将这二种功能彻底隔离开来。
这个系统的核心被成为虚拟机监控器（Virtual Machine Monitor），它在裸机上运行并且具备了多道程序设计功能。该系统向上层提供了若干台虚拟机（类似于现在的VMware ESX）。它不同于其他操作系统，这些虚拟机不是那种具有文件等优良特征的扩展计算机。与之相反，他们仅仅是裸机硬件的精确复制品，这个复制品包含了核心态/用户态、I/O、中断及其他真实机器所具有的全部内容。
由于每台虚拟机都与裸机相同，所以在每台虚拟机上都可以运行一台裸机能够直接运行的任何类型的操作系统。不同的虚拟机可以运行不同的操作系统，而且实际上往往就是如此。有一些虚拟机运行OS/360的后续版本，从事着批处理或事务处理，而另一些虚拟机运行单用户、交互式系统供分时用户们使用，这个交互式系统被成为会话监控系统（Conversational Monitor System，CMS）。
当一个CMS程序执行系统调用时，该调用被陷入到其虚拟机操作系统上，而不是VM/370上，似乎它运行在实际的机器上而不是在虚拟机上，CMS然后发出普通的硬件I/O指令由VM/370陷入，然后，作为对实际硬件模拟的一部分，VM/370完成指令。通过对多道程序设计功能和提供扩展机器两者的完全分离，每个部分都变得非常简单、非常灵活且容易维护。
