济公自称“幼生宦室”。济公的师侄居简《湖隐方圆叟舍利塔铭》说他是“天台临海都尉李文和远孙”。李遵勖（988—1038），初名勖，因娶宋真宗赵恒妹万寿公主，而加“遵”字为“遵勖”，字公武，逝世后谥号和文，为李崇矩孙，济公高祖。其世系为：李崇炬——李继昌——李遵勖——李端懿、李端愿、李端悫——李评——李涓——李茂春——李修元（修缘）。该家族有三个特点：一是世代仕宦，且为将门；二是为官清正，政绩卓著，名列《宋史》；三是历世积善信佛，家族中不少人是禅宗的著名居士。随着宋室南迁，李氏子孙流寓其高祖李遵勖封（食）邑浙东天台，隐居于赤城山南麓、天台城北的永宁村。济公之父李茂春，目击朝廷腐败，弃官隐居经商、念佛，为人淳朴厚重，乐善好施。
永宁村在古城北门外，济公家就住在赭溪畔。济公李氏家族人丁不很旺盛，但因历世仕宦，家境富裕，也称得上是天台的望族了。赭溪西岸的一大片田地（现都已建成一片民居了），就属于这个家族所有，至今人们还称作“李家垟”。发源于北山的赭溪是孩童时济公看水碓舂米、捕鱼游泳玩耍的好去处。石墙头边上有“陇西园”，古时这里是济公李氏的私家庄园。抗战时在此处还设立过“忠烈祠”。
济公李府祖居随着岁月冲刷，沧桑变迁，最后湮没沦圮。历代故乡民众敬仰济公，感戴其德泽，屡于遗址修建济公佛院、济公亭、石墙桥等纪念之所，冀望重光“活佛”圣迹，显彰济公圣德，也是顺理成章之事。
今逢盛世，物阜民殷。天台县人民政府为挖掘地方历史文化资源，弘扬济公文化，让济公精神千秋永传，决定在石墙头复建济公故居，让云游四方的济公在故乡有一个真正的“老家”。修复后的济公故居，向世人展现了充满南宋时代气息、蕴含浙东地方建筑风格和仕宦人家宅第格局的一轴画卷。济公故居占地16亩，建筑面积6310平方米，景区由永宁村口双牌楼与观霞阁、济公李氏祖居和陇西园三大部分组成，宅第街坊与楼台亭阁水榭园林荟萃一体，内聚佛国之灵气，外撷仙山之精华。中国话剧院著名演员“活济公”游本昌先生在专程回天台“老家”探望故居时说：“济公故居修复得好！其中最重要的一点是可以让民众看看当年济公是怎样毅然舍弃如此富丽堂皇的百万家财，走上了一条云游四海、扶危济困、彰善罚恶、救民于水火的济世之路，从中体会济公从人到神、从李修元成为济公‘活佛’的变化历程”。浙江省人民政府领导在视察济公故居时说：“济公故居完全可以成为对人民群众特别是青少年进行人生价值观和道德教育的良好基地。”
