邺侯书院在烟霞峰下，原名端居室，是唐朝宰相李泌隐居的地方。据说李泌七岁能写文章，受到唐玄宗的喜爱。燕国公张说称他为“奇童”，宰相张九龄呼之为“小友”。天宝十四年(775)安禄山叛唐，攻下长安，玄宗李隆基奔蜀，太子李亨在灵武(今宁夏回族自治区灵武县)即位，是为肃宗。李泌前往谒见，陈述国家成败的原因，得到信任。但他不想做官，“愿以客从”，参议国事。他常常陪着皇帝乘车出入，长安收复后，肃宗回到京城。但中书令崔圆、宦官李辅国专权，他们看到肃宗对李泌重视，就十分嫉妒。李泌怕自己受祸，遂托故请求退隐衡山。皇帝答应了，赐给他隐士衣服，并替他修了房子。他在南岳除了好神仙道术外，还好读书。韩愈《送诸葛觉往随州读书》诗：“邺侯家多书，插架三万轴”，可见他藏书之多。后来李辅国被诛，代宗立，李泌复出从政。德宗时，位至宰相，封为邺侯。
李泌死后，其子李繁在南岳的左侧修了个书院纪念他，叫做南岳书院。南宋时，又被迁到集贤峰下，改为邺侯书院。到了元代，书院遭到破坏。清乾隆年间(1736-1796)，衡山一个知县在烟霞峰下的李泌故居处，建立了一个义学，仍叫邺侯书院。
1938年，周恩来同志和郭沫若同志来南岳工作时，曾到过这里。郭沫若同志还写了《登衡山邺侯书院》的著名诗篇。最后两句是：“犹有邺侯遗址在，寇平重上读书堂。”郭老的诗句真是意味深长。
除邺侯书院外，南岳的书院还有宋代的清献书院、文定书院、南轩书院，明代的甘泉书院、白沙书院和集贤书院寺。这些书院的建立，可以想见当年学风之盛。这对于当时传播学术思想，促进学术发展，是起过一定的作用的。
位置：位于南岳烟霞峰下
