在海母残酷的教育之下，海瑞始终不知幸福为何物，甚至还总是给身边的人带来不幸他一生娶过三个老婆，纳过两个妾。
第一个老婆生了两个女儿，因为和海母不合而被海瑞休了。
第二个老婆进门不到一个月，又因为相同的原因被赶出家门。
第三个妻子也在盛年之时十分可疑地暴死。而此前，他的一个妾也自杀身亡。海瑞的不幸婚姻和海母有着莫大的关系。孝子海瑞甚至到了三四十岁时还和母亲同屋而睡。在海母的铁腕之下，海瑞完全无法独立。
海瑞逼死5岁女儿的事情更是让人不寒而栗。小女儿在饥饿之时，接受了一个男仆人给予的一块饼，恰巧被父亲海瑞看见了。
他破口骂道：“一个好女子怎能随便地接受男人的东西呢?只有你饿死了，才是我海瑞的女儿!”在此番羞辱之下，小女孩竟然铁下心绝食七天，直至死去。
海瑞有子男二人，长名中砥11岁，次名中亮9岁，在海瑞入狱的那一年（嘉靖四十五年）殇逝。晚年又得一子，是侧室丘氏（丘浚曾孙女）所生，不幸3岁而殇。从弟海玥的第二个男孩叫中适，论序继海瑞为子。
海瑞廉介一生，为当时人所敬仰，海瑞家乡成为当时人观瞻的胜地。海瑞谢世后，由于后继乏人，其故居逐渐衰败，至清初，故址已转鬻他姓。
清康熙二十六年（1687），琼州知府佟湘年对一代忠臣的身后遭际感到悲愤，他寻访了海瑞故居的遗址，便以官价赎回，刻石立界标明四至，明令今后不许任何人以任何借口占用。又在遗址中间创建海公祠和丘公祠，购买祭田，请二公后人管理祠堂。
海瑞没有儿子，有过一个女儿，后来被他饿死了。海瑞没有儿子，一生清贫。有一个女儿，被逼死了，姓名面议留下。海瑞去世后，金都御史王用汲去照料后事，只见海瑞平日用的是葛布制成的帏帐和破烂的竹器，有些是贫寒的文人也不愿使用的，因而禁不住哭起来，凑钱为海瑞办理丧事。海瑞的死讯传出，南京的百姓因此罢市。海瑞的灵枢用船运回家乡时，穿戴著白衣白帽的人站满了两岸，祭奠哭拜的人百里不绝。朝廷追赠海瑞太子太保，谥号忠介。http://baike.baidu.com/view/7575.htm