合肥市图书馆是国家主办的，向社会公众开放的收集、整理、保管和利用印刷品和非印刷品等各类知识载体的公益性文化机构，是我市的“国家”书库，是合肥地区书目文献中心，信息中心和网络资源中心，是我市精神文明的重要窗口。
早在1923年，合肥有了第一所公共图书馆---合肥县立中和图书馆。1958年，“合肥市图书馆”被批准建制。当时馆舍面积250平方米，工作人员3人，藏书近万册；1968年市图书馆并入市文化馆；1973年市图书馆迁回市中心徽州路134号（现美菱大道612号），1974年建馆舍大楼，建筑面积2010平方米，1978年竣工。同年7月29日郭沫若先生欣然为我馆题写馆名。
合肥市图书馆藏有各类图书、报刊４０万册。社会科学方面有特色的重点藏书包括：地方文献、人物传记、港台书刊和解放前的影印报纸等，还有大型文化典籍《四库全书》和《续四库全书》；自然科学方面的重点藏书是与科技和经济建设有关的建筑、轻工、电子、食品、医学以及适合我市农村种、养殖特点的农业科技图书等。
合肥市图书馆为馆长负责制，下设行政办公室、物管部、网管部、采编部、辅导部、阅览部、流通部和典藏部等。阅览部设期刊阅览室和报纸阅览室，共藏有期刊近1600种，报纸160种。阅览室报刊实行全开架方式，读者凭证件可以在这里阅览全国各地的报纸和最新出版的各类期刊。流通部的图书借还实行凭证借阅的服务方式。该部藏有流通图书26万册，实行半开架与闭架相结合的服务方式，读者可以通过OPAC系统或卡片式目录检索到自己所需的图书。该部还开展预约借书服务。
我馆还收藏了美籍华人贾成宽、石以明，德国侨胞周仲铮，香港石景宜以及作家鲁彦周、那沙和画家韦君琳等社会名人的赠书近万册，增加了馆藏的品种，现已初步形成具有本馆特色的藏书体系。服务质量进一步提高。服务内容和形式，从过去的简单借阅发展到目前的定点服务、定题服务、流动服务、上门服务以及举办各种类型的培训班、讲座、读书竞赛等形式多样的社会服务；从过去的以书为单元的服务发展到目前以课题、主题、学科为单元的深层次发展。
合肥市图书馆的各个对外开放部门，转变了传统的服务观念，取消了周末闭馆休息的老习惯，全年３６５天，天天对外开放，日日接待读者，无论是节假日还是工作日，读者都可以来合肥市图书馆借阅图、报、刊或在电子阅览室上网冲浪。
1998年，合肥市政府批准建设合肥市新图书馆，新馆建筑面积1.5万平方米，投资8000千万元，新馆于2002年竣工。新馆工程是合肥市标志性重点文化工程，馆址位于环城公园西景区风景秀丽的琥珀潭旁，中西合璧中显现徽派建筑风格，造型新颖。新馆具有建筑智能化和服务功能多的特点，可容纳藏品100万件（册），有各类阅览室20个，阅览座席600个左右，藏阅一体。以两台小型机组成的双机容错系统和千兆网主干可提供10—100兆dpi自适应到桌面的OPAC查询、电子阅览、VOD点播和INTERNET出口等多种服务项目，新馆设有10个专题研究室以及具有多声道同声翻译系统的多功能会议厅和学术报告厅。合肥市图书馆与中国数字图书馆、中国学术期刊网、万方数据等机构进行技术合作，建成的数据库资源达2TB，向市民提供海量的知识信息资源服务。
