灵源寺位于灵源山南，建于隋初开皇九年（589）。近年来，在海内外亲信人士热心捐资支持下，重新规划扩建，修葺寺宇。新建后寺院分前、中、后三殿堂，寺院巍峨壮观，大殿雕梁画栋。
灵源山平时香火不断，每年香客、游客达百多万人次，佛事活动期间更是人声鼎沸。
原先的寺宇及两旁的附属建筑扩建为一座五开间三进深，重檐歇山顶的巍峨大殿，面积达462平方米。大殿前连着一座三开间的拜亭，飞檐翘脊，金碧辉煌，轩朗而宏丽。拜亭及殿廊均采用透雕玲珑精致的青石盘龙柱，柱上镌刻镏金对联，其中有相传为宋代宰相曾公亮题的“灵山好作西天界，源水能通南海潮”，有明代探花，书法大家张瑞图手书的“从闻思修大士何曾出世；法界定慧众生各自开堂”，以及一副古代流传下来佚名的“洞口春深烟雨、海门夜半渔灯”等名联。还悬有清代翰林庄俊元题的“古佛”，中国佛教协会主席赵朴初题的“灵源寺”，原全国人大常委会副委员长彭冲题的“天坛”等匾额。
1998年，大殿后又落成一列三座殿宇，中为大雄宝殿，右为地藏殿，左为祖师殿。大殿前面，铺有1500平方米的钢筋水泥广场，十分宽敞。广场前临山谷处，因势建筑起一列双层地上室，作为接待四方宾客的宿舍和食堂之用。高低错落，布局有致的灵源山又增一道风景，与灵源山山林胜景交相映衬，相得益彰。无怪乎日日吸引游客接踵而来，流连忘返了。
