杨氏家庙又称龟山公祠，坐落在芷溪杨氏开基祖六九郎公的故居背园，环境优美，建筑精巧。
此祠是康熙六年（1667），由六九郎公的第八、九代（含迁徙至广东、江西和本省其他县繁衍谋生的）裔孙合族兴建的。当时六九郎公的裔孙已有移居广东平远、焦岭、番禺、大埔、饶平等地，江西瑞金、寻邬等地和福建平和、长汀、上杭等地。那一年，因各地裔孙回乡祭祖，为共谋建祠之事。
杨氏家庙,又称“龟山公祠”,这是借杨时的声誉为祖祠打官司的缘故。杨时，号龟山，谥文靖，公元1053年生于福建将乐城北龙池团。杨时求学用功，立雪程门，二十岁中举人，二十四岁中进士，七十六岁升龙图阁学士。他告老南归后，开海滨邹鲁之风，为闽理学之鼻祖。芷溪杨氏开基祖是杨时第三子的后裔，因避战乱迁居连城，先住小沛文庄，后移南顺里南坑（今文亨乡南坑村），再南迁至杨家坊中心屋背头园，最后定居芷溪背园。
建造祖祠时，开始工程进展都很顺利，等到梁、柱都上好时，芷溪村有一姓黄的“讼棍”出来阻拦，说是在此祠堂背后山上有他的祖坟。双方争辩不休，背园杨氏便将此情况通报在外的宗亲。闽、粤、赣三省均派人回来，其中官员31名（知府2名、知县29名）。经过谋策，为扩大影响、大赢官司，将此祠堂改为奉祀龟山公。官司打到县里，知县前来察看，见祠中祀着“宋大儒杨时龟山靖文之神位”，又见这么多官员跪在神主前，即判杨家胜诉。
杨氏家庙面积不大，仅600平方米左右。正厅内空4.94米，左右各有一间大屋间。厅前是天井，左右回廊连接下厅。两旁有横屋，与一般祠堂差不多。现在这些建筑都是依原样重修的，唯大门顶上的木牌楼古迹犹存，依稀可见当年的风采。木牌楼是杨氏家庙最突出的建筑特色。
木牌楼顶为长四方形，四角有叉角向外伸，前后有雨檐覆盖。整座木牌楼为二级牌楼格局，全是采用“草尾卷筒鸡爪造型”，即将木条雕刻成鸡爪形状，三根象鸡爪倒立，中间一爪上顶着一个圆形的花篮，周边雕刻着花纹，另两爪成倒八字向上伸。这样一个一个“草尾卷筒鸡爪”依次整齐排列，一层一层堆嵌上去。
牌楼分四层：第一层全是“草尾卷筒鸡爪”，第二层中间有三块雕版，第三层中间也有三块雕版。每块雕版雕刻的内容均是民间故事，如“八仙过海”、“三英战吕布”等等，只可惜这些文物都被人挖去。
在第四层的“草尾卷筒鸡爪”下的中间，挂着“杨氏家庙”额匾。此匾为当年真迹，左右各有一根“倒吊骑筒”，骑筒刻成莲花形，工艺精湛，颗颗莲子肉眼可辨。骑筒外有一横梁，刻的是“锦鸡采茶”，这横梁上原雕有“鳖鱼戏球”，现已丢失。
牌楼大门前的天花板上，绘有双狮戏球，仍存一半，可以辨认。牌楼两边雨檐的八字雨披，上面有一长形的涂上白粉的木板，板上绘着山水油画。
