霍英东总共娶三位妻子，吕燕妮、冯坚妮、林淑端。吕燕妮出震霆、震寰、丽萍、震宇、丽娜、丽丽；冯坚妮出文芳、文斌、文逊；林淑端出显杨、显旋等四子。
元配吕燕妮是霍英东患难之妻，四十年代嫁入霍家时，霍英东还未发迹，吕氏甚得霍母及丈夫欢心，她诞下的三名儿子，一直获霍英东悉心栽培接班，地位超然。
1954年，震宇出世那年，霍英东结识了年轻貌美的女子冯坚妮，冯当年只得16岁，但却欣赏男方正直老实性格，相恋五年后结婚。冯早前接受访问时谈到这段情，她说：“我是很单纯的人，自小没有什么大抱负，那时我想，但求有个丈夫，彼此倾心相爱，就算他是朝九晚五的打工仔，我也心满意足。”
1968年左右，霍英东又与另一位女子林淑端结合。晚年的霍英东，多在林淑端家中留宿，对她宠爱有加，但外界对她所知不详，直到九十年代初期，才有香港报章披露霍英东尚有一位太太林淑端。
霍英东作风低调，加上从不带元配和三太太公开露面，故外界对吕、林两人的情况几乎一无所知。事实上，吕燕妮和林淑端过的是深居简出的生活，除了与家人和小圈子里的朋友有所往来外，与外界几乎没有什么接触，甘做霍的背后女人。