建于唐代衡州石鼓山（今衡阳市石鼓区石鼓山），故名。初，唐朝刺史齐映，建合江亭于山的左侧。宪宗元和年间，州人李宽筑屋山巅，读书其中。宋太宗至道三（997年），州人李士真请求郡守在这里建立书院，招收生徒讲学。朝廷赐“石鼓书院”敕额。《文献通考》列为“宋兴之初天下四书院”之一。仁宗时一度荒废，到南宋孝宗时，因旧址复院扩建，规模益增，迄宁末不废。朱熹曾为之作记。
概述石鼓书院始建于唐元和五年（公元810年），迄今已有1196年的历史。原址在衡阳石鼓山，时衡州名士李宽在石鼓山寻真观旁结庐读书，宋至道三年（公元997年），邑人李士真拓展其院，作为衡州学者讲学之所。二年（公元1035年），朝廷赐额“石鼓书院”，遂与睢阳、白鹿洞、岳麓书院并称全国四大书院。经唐、宋、元、明、清各朝，书院屡经扩建修葺，韩愈、周敦颐、朱熹、文天祥、徐霞客、王夫之等接踵至此，或讲学授徒，或赋诗作记，或题壁刻碑，或寻幽揽胜，其状蔚为壮观。书院主要建筑有武候祠、李忠节公祠、大观楼、七贤祠、敬业堂、合江亭。
1944年7月，石鼓书院在衡阳保卫战中毁于日军炮火。2008年当地政府仿照清代石鼓书院格局重建了石鼓书院。
2009年11月15日，国家邮政局发行了《古代书院（二）》邮票一套四枚，其中第一枚为石鼓书院，面值1.2元。（其余三枚为：安定书院、鹅湖书院、东坡书院）。邮票由著名画家范曾设计。
历史原名李宽中秀才书院。唐元和中(806-820)李宽中于石鼓山寻真观结庐读书。
刺史吕温曾访之，并作《同恭夏日题寻真观李宽中秀才书院》日记其事。宋至道三年(947)
宽中族人士真据其故事，复修书院，“会儒士讲学”其中。景二年(1035)知州刘沅(一作刘阮)秦清仁宗皇帝赐学田及“石鼓书院”额，遂为天下四大书院之一”。其后，改为州学。谆照十二年(1185)，部使者潘田青(一作畴)就原址建屋数间，榜以鼓额,“将以俟四方之士有志于学，而不屑于课试之业者居之”，未竟而去。提刑宋若水继成，奉先圣先师之像，集国子监及本道诸州印书藏其中。请朱嘉作记，诫诸生勿为科举功名所乱,而要辨明义利，有志“为己之学”。时戴溪为山长，与诸生讲《论语》，有《石鼓论语问答》3卷。七年林田井学教授兼山长凡三年，“补葺经创”，鼎新书院，并刊大字本《尚书全解》40卷开庆元年(1259)毁于兵景定元年(1260)提刑俞琰(一作俞炎)命山长李访“扫地更新”，“尽复旧观”，增辟园圃，仰高楼，取明德新民文章，为诸生丕扬其义，绝响再闻，士风作振”。提刑黄斡又置田35亩，“以赡生徒”。元仪继续办学。然其田于至元十九年(1292)为灵岩寺僧强占，经邓大白、王复、康庄、程敬直等历任山长长达62年争讼，才得归还。元末又毁于兵火。明永兵十一年(1413)知府史中重新书信6间以待旅游学者，有礼殿祀孔子。乾张祠祀韩愈，张木式。天顺，弘治间均有修葺。正德四年(1509)叶钊为山长，讲圣贤身心之学、道德之首，剖晰疑义、阐发幽微“时学者翕然云从”。嘉靖间，湛若水。至“石鼓”讲论“体认”之学，邹守益亦来大倡“良知”之说。二十八年，知府蔡汝浦以其为朱、张、湛、邹“过氏之地”，乃重整书院、扩建主静、定性二斋，订立规约，以学文敦行、辨志慎习、等伦常、识仁体训士、刊《说经札记》，《衡汀间辨》、《太极问答》等，“忘倦”达4年(1549-1552)。又请赵大洲、茅鹿门等“海内名公”讲学其中，诸士环听，“宛然一邹鲁洙泗之夙也”。万历四十的(1612)巡抚记事，观察邓云霄大修书院，以“铸士陶昆”、建有讲堂、敬义堂、回澜堂、大规模、仰高楼、砥柱中流坊、棂星门、风雩、沦浪、禹碑、合江诸亭、其他“殿祠号舍，罔不完葺”，规模极一时之盛，崇祯十五年(1642)提学高世泰修葺。明末毁于兵。
清顺治十四年(1057)，巡抚袁廓宇奏准修复，“复集诸生，岁时课艺”。康熙七年(1668)，知府张奇勋扩建号舍20余间，“拔衡士之隽者肄业其中，每月两试之，士风称最盛”。二十八年，知府崔鸣捐俸“增其所未备”、“督率师徒援古证今，析疑问难”其中。时七贤祠、仰高、大观二楼，敬业堂、留待轩、浩然台、合江亭及东西斋房等、“日日髹、丹碧上耸、焕然巨观”。山长多一时之选，如陈正雅、余廷松、林学易、易廷彦、罗瑛、皆湖南名进士，然所援多为科举之业。光绪二十八年(1902)改为中学堂，三十一年改称南路师范学堂。民国时改为女子职业学校。抗日战争中，毁于战火。今辟为公园，尚有明清碑刻留存，有明新版《石鼓书院志》3种。
石鼓书院记宋•朱熹
石鼓据蒸湘之会，江流环带，最为一郡佳处。故有书院起唐元和间，州人李宽之所为。至国初时，尝赐敕额。其后，乃复稍徒而东，以为州学。则书院之踪於此，遂废而不复修矣。淳熙十二年，部使者潘侯始因旧址列屋数间，榜以故额，将以俟四方之士有志于学而不屑于课试之业者居之。未竟而去。今使者成都宋侯若水子渊又因其故益厂之，别建重屋，以奉先圣先师之像，且纂国子监及本道诸州印书若干卷，而俾郡县择遣修士以充入之。盖连帅林侯栗诸使者苏侯诩、管侯鉴、衡守薛侯伯宣皆奉金费赍割公田，以佐其役，逾年而后落其成焉。于是宋侯以书来曰：“愿记其实，以诏后人。且有以幸教其学者，则所望也。”予惟前代庠序之教不修，士病无为学，往往择胜地，立精舍，以为群居读书之所。而为政者，乃成就而褒表之：若此山、若岳麓、若白鹿洞之类是也。逮至本朝庆历熙宁之盛，学校之官遂遍天下，而前日处士之庐无所用，则其旧迹之芜废，亦其势然也。不有好古图旧之贤，孰能谨而存之哉？抑今郡县之学官，置博士弟子员，皆未尝考德行道义之素。其所受授，又皆世俗之书，进取之业，使人见利而不见义，士之有志为己者，盖羞言之。是以常欲别求燕闲清旷之地，以共讲其所闻而不可得。此二公所以慨然发愤于斯役，而不敢惮其烦，盖非独不忍其旧迹之芜废而已也。故特为之记其本末，以告来者。使知二公之志所以然者，而无以今日学校科举之意乱焉。又以风晓在位，使知今日学校科举之害，将有不胜言者。不可以是为适然而莫之救也。若诸生之所以学，而非若今之人所谓，则昔吾友张子敬夫所以记夫岳麓者，语之详矣。顾于下学之功有所未究，是以讲其言者不知所以从事之方，而无以蹈其实，然今亦何以他求为哉！亦曰：养其全于未发之前，察其几于将发之际，善则扩而充之，恶则克而去之，其亦如此而已，又何俟于予言哉！
诗篇石鼓书院
宋 范成大
古磴浮沧渚，新篁锁碧萝。
要津山独立，巨壑水同波。
俎豆弥天肃，衣冠盛事多。
地灵钟俊杰，宁但拾懦科.
石鼓动书院怀古
清 刘正心
郁葱青翠护层阴，仙洞危楼半出林。
万户晓烟明夹岸，两江流水抱孤岑。
夏王未剖金泥迹，蜀相坚依玉垒心。
千顷波澜谁作砥，苍茫入望古犹今。
舟夜过石鼓书院
清 李稳
石鼓空清似镜中，亭台涟漪画桥东。
一团山影江边绿，几处灯光树里红。
卖酒船逢前度雨，读书声送隔楼风。
孤篷日夕天涯内，高咏帆樯起夜龙。
石鼓山
清 旷大中
揽胜到衡州，应输石鼓幽。
鼍梁悬七隧，虎踞瞰双流。
北望长安远，南来吾道悠。
会偕仙洞侣，联步入瀛洲。
游石鼓书院谒七贤祠
清 岳宏誉
山形如鼓峙江边，旧有朱陵洞口仙。
胜地蒸湘山水合，真儒唐宋七贤传。
云中雁寺国青嶂，村里虹桥隐画船。
千载渊源勤仰止，登楼一望意悠然。
石鼓书院
清 陶易
旷代儒风喜未颓，一时讲院尽英才。
双流环绕宫墙肃，乔木阴森士气培。
祀典已崇新俎豆，诗篇长焕旧亭台。
自今游屐休嫌扰，绿竹西溪一径开。
楹联学贯九流，汇此地人文法海；
秀开百粤，看群贤事业名山。
【左宗棠题湖南石鼓书院，岳麓书院亦有此联 】
此真净绿唾不可；
我实薄才歌奈何。
【阮元 题衡州石鼓书院联 】
不许岳云封古洞；
但愿江月认残碑。
【范研云 题湖南石鼓书院合江亭】
修名千佛上；
至味五经中。
【湖南石鼓书院二门宋至道年间重建】
愿分华山一半席；
安得广厦千万间。
【李镐 题湖南石鼓书院留待轩】
广厦构众材，报道蛟龙腾浪去；
两水夹明镜，合信风月入亭来。
【祝澹溪 题湖南石鼓书院】
心远地自偏，问草庐是耶非耶，此处想见当日；
江流石不转，睹秋水来者逝者，伊人宛在中央。
【范鹤年题湖南石鼓书院武侯祠】
是七二峰雄峻所钟，看砥柱中流，但莫赏青草烟痕，朱陵石迹；
溯卅六湾波涛而上，听鼓角午夜，应不减船山灯影，岳麓书声。
【周延俊题湖南石鼓书院大门】
