孔府花园始建于宋仁宗至和二年(1055年)。当时的孔子四十六代嫡孙孔宗愿，封号由“文宣公”改为“衍圣公”，扩建孔府，同时开始修建花园。开始，规模甚小，后经宋、元、明、清历代修葺，特别是明弘治年间的宰相李东阳，明正德及嘉靖年间的权臣、吏部尚书、国史总裁严嵩，以及清乾隆皇帝等，前后三次大修之后，把个孔府花园打扮得焕然一新，古色古香，俨然同皇家御花园可媲美。
孔府花园位于孔府九进大院的最后部分，占地五十余亩。园虽然不广，但假山、池水、竹林、石岛、亭台、水榭、花坞、曲桥、香坛、客厅等一一俱全。四十年代笔者曾往游，记得花园假山位于园之东南，皆由各地奇石怪岩构成，依山势而论，有远山近水之分，高峰低峦之别，巉岩幽谷，盘回曲折，洞邃峰奇，若隐若现，羊肠小道，台阶相砌，花木扶疏，从山下一直长到山顶。园林师别具匠心，为使假山喷珠撒玉，特别在山边沿巧布太湖石，平时泉水滴滴，雨天瀑布飞挂，景色之美如同仙境。
孔府花园的名花异卉，在园林里堪称独具特色。那五百余岁的铁树，躯干粗犷，叶肥茎硕，花开花落，依然生机勃发。生长四百余年的“王柏抱槐”，一株王干，槐穿柏身而生，声喧如虎豹、躯枝似虬龙。三百余载的腊梅，疏影横斜，暗香浮动，百折老干，千条青枝，给人以铮铮铁骨，不可压摧之感。还有那二百余春秋之枣藤，盘根错节，扶树伸展，两人合抱，冠若天棚。尤其是北国稀有的佛手，更为花园一绝；那奇特的手形果实，色泽金黄，闻香之清冽，抚摸片刻，周身的香味三日犹存。
至于花园的名贵之花，何止百种千种，孔府主人为一年四季都能观赏盛开的鲜花，集天下名花于一园，四季常开，月月不败。诸如一月的腊梅，二月的水仙，三月的迎春，四月的牡丹，五月的芍药，六月的丁香，七月的百合，八月的凤凰仙，九月的桂花，十月的芙蓉，十一月的金菊，十二月的升牙红等等，此起彼落，争放异香。尝阅《孔府档案》，读到《孔府花园诗稿》，厚厚一本，全是咏赞花园的。别的都忘了，尚记得孔子七十三代嫡孙孔庆镕写的四句:“园林亭榭好，岁岁客凭栏。九月寻篱菊，三春就牡丹。”
孔府的花园，可以说是由皇宫的银子堆起来的。第一次大修是明弘治十六年，负责设计和监工的人，是吏部尚书，太子太傅，华盖殿大学士兼国史总裁李东阳。
李东阳为何出那么大气力，苦心经营孔府花园呢？原来，李东阳有个女儿，是孔子六十二代嫡孙、衍圣公孔闻韶的一品夫人。这位长沙生人的大家闺秀，李东阳视若掌上明珠，不但模样长得很美，而且对游山玩水，观月赏花亦极感兴趣。有一天，李女闻得未来夫婿是当时的孔府小圣人，便告之乃父，虽然府邸、人品都称心，倘若花园不如意，也不能嫁。李东阳当场言定，要为爱女修一花园，不出孔府，就能饱赏江南秀丽景色。于是一座集南北风光特色于一园的孔府花园，在他的督修下，大功告成，为此李东阳曾四次作诗刻碑，记此盛举。
孔府花园另一次较大规模的修建是在明嘉靖年间。那时，当朝的权奸严嵩，看到举国上下，除皇宫外，权势最大者，莫过于孔府了，为扩大自己的势力和影响，他决定与孔府攀亲，将其亲孙女嫁给孔子六十四代嫡孙衍圣公孔尚贤为一品夫人。严氏女进府后，严嵩一则为显示权大无边，二则为其孙女生活悠闲，便调集全国名园林师，广搜天下奇花异石，扩建重修孔府花园。后来，严嵩被惮劾治罪，其家产虽倾荡一空，但他修建的孔府花园，却丝毫无损。据说，严嵩自罢官后穷困潦倒，曾去孔府孙女家求援。无奈，朝廷有令，相助严嵩者皆从严惩处。衍圣公孔尚贤也耽心舆论的压力，有意回避严嵩的求见。严嵩孙女便偷偷将严嵩藏在孔府花园内，一日三餐，靠她用餐时多留下的食物供应。府人问之，她就说在花园里养了一只狗，别人喂的食它不肯吃，喜欢女主人舍施给它食物。她身为一品夫人，谁还敢追究呢？严嵩落魄到如此地步，真可谓“多行不义必自毙”，据说这样的日子过了没多久，老贼就一命呜呼了。
清乾隆年间，孔府进行了第三次大规模重修扩建，主持者是乾隆皇帝。原来，乾隆也看中了孔府这块万世繁荣的圣地。因此，也与孔府攀结起亲戚。乾隆将爱女嫁给孔子七十二代嫡孙孔宪培，作衍圣公的一品夫人，但乾隆是满族，孔宪培是汉族。按封建法规，满汉不能通婚。群臣献策的结果，是乾隆让女儿改姓，认汉族中堂大夫于敏中为义父，以于氏之女嫁进孔府。
孔府花园经过帝王将相，公侯伯爵历代增修扩建，修筑得山林清幽，洞窟古雅，花园似锦，池桥涌波，使人难分北国江南。
