离新台门鲁迅故居不到一里的西北面，有一间小小的土谷祠，这也就是阿Q的栖身之所。土谷祠的门口，除了大门，还有一道木栅门，涂成赭红色。门口上面有宽宽的翻檐，下面是不高的石门槛。进内一个很小的天井，两边有二条石凳，还有两条通向庙堂的窄窄的走廊。过了天井便是庙堂，供着土地公公和土地婆婆两尊泥像。平时挺冷清，每到土地生日（农历四月十四），便有人来烧香、拜佛，冬至则来点蜡烛，才比较热闹。
土谷祠即土地庙，“土”指土地神，谷，指五谷神。塔子桥南堍也有一座土谷祠，它座落在长庆寺的斜对面，祠前有跨街台亭。在飞檐重彩的跨街台亭上原有许多匾额，其中一块有“恩沛东陶 坊民寿怀鉴敬立”的字样。寿怀鉴就是鲁迅在三味书屋读书时的塾师寿镜吾先生。这台亭一年至少要演两台戏，正月一台灯头戏，五月一台平安戏。另外，坊里遭天灾人祸，也临时演戏，鲁迅幼时曾到这里看过戏。这里并排有三个祠庙，最北面是土谷祠，中间为穆神庙，靠南面是财神堂。土地庙的规模一般都比较小，这土谷祠也只有一间门面的宽，因为鲁迅笔下曾对这里作了较多的描绘，引起了人们的注意。
土谷祠的门口，除了大门，还有一道木栅门，涂成赭红色。门口上面有宽宽的翻檐，下面是一支不高的石门槛。
第一进为门屋，廊柱上有一副抱对：“风调雨顺五谷丰，国泰民安六畜兴”。中间是天井，两侧有围廊。第二进是大殿，明间朝上陈设着土地公公和土地婆婆两尊坐像，神态慈祥亲切，正如两边抱对上所写的“公公做事公平，婆婆苦口婆心”，深得百姓喜爱。坐像上方悬挂红底金字大匾一块，上书“地载五福”四字，出自绍兴乡贤陶浚宣的魏碑体书法。大殿前金柱上还有一副抱对：
福自天中凭正直，德由义集须公平”，为隋朝大书法家智永字体。
平日的土谷祠不及长庆寺热闹，冷冷清清的。但每到土地菩萨生日，即农历四月十四日那天，便有人来拜佛、烧香。冬至日来点蜡烛，才显得比较热闹。光绪末年，土谷祠是一个叫阿秋的庙祝掌管着。因为土谷祠比较冷落，当时一些无家可归的乞丐、游民便住在庙堂内，掌管者也不去干涉他们，这里成了他们的栖身之地。
说起土谷祠，人们就会联想到鲁迅的名著《阿Ｑ正传》，说阿Ｑ住在土谷祠，其实这里并非确有阿Ｑ，只不过是鲁迅取材于此罢了：当年有个叫谢阿桂的，孑然一身，曾住在土谷祠。他主要靠替别人舂米来维持生计，曾给周家打短工，但他沾有偷窃习气，名声不太好。鲁迅对他比较熟悉，并以他为“模特儿”，在《阿Ｑ正传》中，创作了“阿Ｑ”这个不朽的艺术形象。
土谷祠废圮多年，现在的门面是在1981年时修复的。2003年，绍兴市实施鲁迅故里保护工程，有关部门又出资对土谷祠进行了原址重建并恢复旧观。中外来宾来此参观，常会回忆起鲁迅笔下的阿Ｑ的生活情景，鲁迅夫人许广平说，在土谷祠能“更亲切地找到阿Ｑ的所在，仿佛此中有熟人，呼之欲出”。
