康熙第十三子爱新觉罗·胤祥，康熙六十一年（1722年）清世宗雍正帝即位时，受封怡亲王。管理户部三库，在财务管理上有所建树。雍正三年(1725年)，兴修水利，清世宗为其题写“忠敬诚直，勤慎廉明”的匾额。胤祥于雍正八年(1730年)卒，谥贤，他是雍正唯一礼遇的胞兄弟，屡加赏赐，主要是因胤祥于政治无野心，为“自古无此公忠体国之贤王”，是除铁帽王之外，又一"世袭罔替"亲王。
怡亲王共九代，王府前后共有三处。
第一座怡亲王府：
怡亲王府旧府位于王府井大街路东帅府园胡同，此处只住过始王怡贤亲王胤祥。雍正八年胤祥死后，怡亲王府改建为寺，雍正皇帝亲自赐名“贤良寺”，并御撰碑文。 府改寺落成于雍正十二年（1734年）。
据《宸垣识略》卷五记载：“贤良寺在东安门外帅府胡同，雍正十二年建。本怡贤亲王故邸，舍地为寺，赐名贤良。乾隆二十年移建于冰盏胡同。有世宗御制碑暨今上御书心经塔碑”。《啸亭杂录》中说：“怡亲王府在煤炸，今为贤良寺。本怡贤亲王故邸，后移冰盏胡同。“在《乾隆京城全图》上，从所绘贤良寺的形制上可见王府之貌。在南起帅府园胡同、北至金鱼胡同、东起今校尉胡同、西至近王府井大街处的范围内，有面阔五间的正门、面阔七间的正殿、面阔各七间的左右配楼、面阔五间的后殿、面阔各七间的后寝和后罩楼，显露出王府的严整、宏伟。
贤良寺于乾隆二十年移建于冰盏胡同。移建后的寺，规模缩小，但名气很大，李鸿章进京时曾住于该寺。20世纪80年代为校尉小学校，现寺已无存。
第二座怡亲王府：
怡亲王新府位于朝阳门内大街路北，始王弘晓是怡贤亲王胤祥的第七子，因府邸改建贤良寺，于乾隆年间迁居此地，占地六千平方米。
1861年，第六任怡亲王载垣（“顾命八大臣”之首）被慈禧太后强令自缢，并剥夺了他的王位和王府。1864年，孚郡王奕譓年满20岁，按制度应搬出皇宫，分给王府。于是朝廷将收回的载垣怡亲王府分配给了奕譓，即朝阳门内大街的孚王府。现为世界图书出版社。
第三座怡亲王府：
第三座怡亲王府位于东单北极阁三条。
此处原为宁良郡王弘晈的府邸。同治三年（1864年），虽复怡亲王爵，但改以宁良郡王弘晈四世孙镇国公载敦袭怡亲王爵，仍居于宁郡王府。因此，宁郡王府成为了第三座怡亲王府，或即新怡亲王府（详见宁郡王府）。
