翰林院子与邓小平故居相隔1公里，旧时是一所私塾，邓小平接受启蒙教育就在这所学堂。
据《邓氏分谱》载，清乾隆年间，邓小平先祖邓时敏起居的地方称之为"翰林院子"。邓时敏出于想为邓家培养出几个出类拔萃人物光宗耀祖的缘故，欣然把翰林院子辟为学馆，办起了姚坪里（今牌坊村）第一所私塾。
翰林院子原是一个大而气派的四合院。居中大门，院内大坝，宽阔的屋檐，檐下阶沿上方形木柱刻巨龙腾飞、凤凰展翅及各种吉祥图案；宽阔高大的正堂屋约80多平方米，大小房屋共10余间。邓时敏逝世后，翰林院子逐渐败落下去，但私塾旧宅却一直保存完好。
邓小平5岁入翰林院子发蒙读书，学名邓先圣。私塾老师邓俊德认为"先圣对孔夫子很不恭，便改邓先圣为邓希贤。言下之意是希望他能成为一个贤人。邓希贤这个名字一直用了很久，后在革命年代，才改名叫邓小平。
邓小平在翰林院子只读了两年私塾。他反应灵敏，记忆过人，且乐于助人，留下了许多动人的故事。后转入北山小学接受新式教育。
解放后，党和政府十分关心教育事业，为了让当地农民子女能够就近读书，翰林院子又名正言顺地成为了一所村级小学。"文革"期间，遭到破坏，已变得面目全非。1985年，学校迁址牌坊村九社，1994年，再次对学校进行改扩建，并正式命名为"翰林小学"。
1997年11月2日，中共中央政治局常委、国务院副总理李岚清亲临小学视察，对学校的建设和发展寄予厚望，促进了学校教育上新台阶。
