西方谚语说：“罗马不是一天建成的”。罗马帝国的宫殿也不是一下子，而是逐渐建起来的。作为罗马共和国第一执政官和主要祭司的尤利乌斯·恺撒住在雷吉亚宫的一所不大的房子里，根据过去的传统，这是罗马国家祭祀首领大司祭的住处。根据传说，雷吉亚宫是公元前8世纪末由罗马的第二个国王努米·蓬比利建成的，之后雷吉亚宫又被多次重建。
罗马帝国第一个皇帝奥古斯都注意到了尤利乌斯·恺撒僧侣般生活的可怜经历。虽然他的权力也只是局限在僧侣意义上的，但他仍然试图掩盖这一点，有可能，权力的本质本来就是高于其物质意义的。奥古斯都没有给自己修建宫殿，但却在罗马建了很多豪华的房子。他的私邸很小，他的自传里特别提到了这一点：皇帝住在“罗马帕拉廷①的绣球花房里；但这座房子很简单，既不大也不豪华，——甚至连门廊都很短，只有一些阿尔巴尼亚大理石的柱子，而房间里却既没有大理石，也没铺地板。”
皇宫本身是奥古斯都的继任者提比略和卡利古拉皇帝在古罗马七丘之一的帕拉廷上开始修建的。后来，其他的皇帝又对其进行了改造。
提比略修建了由许多楼房组成的宏伟宫殿群，而卡利古拉则将宫殿建筑群一直修到了罗马广场，把宫殿的主楼同卡斯托耳-波鲁克斯庙连起来，这座庙是为朱庇特的儿子们修的，他们是当时罗马的图腾崇拜对象。卡利古拉将卡斯托耳-波鲁克斯庙变成了宫殿的前室，用以连接帕拉廷宫。卡利古拉对圣所的亵渎引起了罗马居民的强烈不满。
关于卡利古拉皇帝有各种不同的传闻。他最初采取的措施是有利于国家的：他慷慨地赏赐人民和士兵，释放了被提比略关押的囚犯，使放逐者返乡，允诺采用元老院的教令并同他们一起治理国家，饶恕了冒犯过他父亲、母亲和兄弟们的罪人。因此，一开始元老院和普通老百姓都很尊崇他，称他为“亲爱的”和“孩子”。卡利古拉生病的时候，很多罗马显贵都在神坛发誓，愿意为了他的康复而献上自己的生命。
但只过了半年，病后的皇帝性格发生了急剧的变化，仿佛完全变成了另外一个人。他处死了无数的人，一个接一个地杀死自己的亲人，用犯人的尸体喂养马戏团的猛兽。
