米公祠，原名宝晋斋，位于无为县城西北隅，为北宋著名书画家米芾知无为军时所建。米芾（1051—1107年），字元章，祖籍由山西太原迁居湖北襄阳，人称“米襄阳”。他曾官礼部员外郎，故又称“米南宫”。北宋崇宁三年至大观元年（1104—1107年），米芾知军无为。他为官清廉，勤政爱民，时人感其德政，在他离任去世后，于米公军邸的旧址上建米公祠以示纪念。
米芾尚晋人书法，宝晋斋是他得到晋王羲之《王略帖》、谢安《八月五日帖》、王献之《十二日帖》墨迹后自题的书斋名。时值北宋崇宁三年，他将３种法帖摹刻上石，并于宝晋斋前掘池建亭，即墨池、投砚亭。当年，米芾每于政暇之际挥毫于亭中。池北有石丈（又名拜石），为石灰岩质地太湖石，玲珑窍然，原在黄洛河边，米芾见之，喜不自禁，遂移至州署。每日抱笏对石揖拜，人以为怪癣，反映出米芾恃才傲物、与世不谐的鲜明个性。
原斋毁于兵火，明万历二年（1574年）和清乾隆元年（1536年）两次重修；乾隆三十七年，县守张公侨摹陈洪绶所画拜石图刻于碑；乾隆三十九年，县守张琨玉始建拜石轩、书画舫和香月亭，并自为记勒于石。清咸丰元年（1851年）又毁于兵火。清光绪三年（1877年），知县王峻又重修，建米公祠３楹，门居中，于池之左右盖耳房３间，外侧缭以土垣并间以竹篱，环池循势垒假山，并搜集米公遗刻“墨池”、“画菜”２碑和其他石刻入祠内。
米芾当年所藏碑刻早已毁失。无为后守葛祜之根据米芾拓本重刻，南宋咸淳曹之格任无为通判，又重新摹刻，并增入晋人法帖及米芾帖多种，题名为《宝晋斋法帖》，其原刻至近代又毁于兵火。现米公祠内收藏的晋唐以下历代名家碑刻150多方，主要是刘秉璋在任江苏按察使时携带至无为的。刘秉璋，字仲良，庐江县人，曾任淮军民学营统、江苏按察使、浙江巡抚、四川总督，是曾国藩的部属。当时他在无为县城内拥有私宅、花园，新中国成立前碑刻散置于其私宅中。1950年，全部移入米公祠，1960年代又将石刻嵌于墙壁间，从而使这批珍贵碑帖得以妥善保存。此后无为县文物管理所对碑刻进行整理编撰，第一卷《宝晋斋碑帖选》已由安徽美术出版社出版发行，其他的正在着手准备陆续出版发行。米公祠碑帖刻石十分珍贵，大多出自名家之手。其中有米芾篆书《御制文宣王赞》、“墨池”、“画菜”；清张琨玉题“宝晋斋”；清光绪三年知县王峻撰文并镌刻的重修碑记；潘效安的《嵌修无为碑刻记》等。这些碑刻内容翔实，记述了历代维修情况和经过，是考察米公祠兴衰的宝贵资料。