据史书记载，纪晓岚先后有一位夫人和六房妾，这在当时对于一个官至礼部尚书的大学士来说是很正常的，没有反而不正常。纪晓岚很讲感情，1740年17岁的纪晓岚就跟邻县20岁的马氏成婚了一生相敬如宾，白头偕老。马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友。这在封建社会来讲是很难得的。
纪的夫人姓马，在《阅微草堂笔记》中出现过两次。第一次是以“嫡庶”之“嫡”的身份出现的。《槐西杂志》第二卷八十八条是为纪的一个侍姬立传的，说马夫人很喜欢那侍姬：“故马夫人终爱之如娇女。”第二次是以婆母身份出现的，在《槐西杂志》卷三第二百一十四条：“马夫人称其（二儿媳）工、容、言、德皆全备。” 纪惜墨如金，两次提到马夫人，一共就用了二十多个字。笔法之中，读不出夫妻之间应有情感色彩，倒是有些客气，有些许远距离的尊重。这是合乎情理的。猜度马氏与纪之间的生活，无非受父母之命、媒妁之言，十多二十岁结了婚。像纪家这种官宦家庭，所娶媳妇必是门当户对，马必定是个大家闺秀，所受教育免不了三从四德，进得纪家之门，孝亲友姑，对纪彬彬有礼。新婚燕尔之时，或者还会与纪一起共同沉浸在温柔乡一段时间，但后来纪中举入仕，马氏的主要责任就是在家中孝敬公婆，抚育儿女。纪有了一房又一房侧室，马氏对纪晓岚承担的责任，主要便是举案齐眉了。再到纪晓岚有了自己个人的家业，不与父母住在一起，马氏的正妻身份，实则“法定”成了纪晓岚家庭的总经理，对一家人的生活起居进行日常的行政管理（虽然会有管家，但那最多算个对外事务的执行总经理），而纪在外公务与马氏没有什么关系，对家庭而言则担负董事长的角色。纪与马氏之间，终于就成功完成了从小夫妻关系，到家庭董事长与总经理之间合作关系的必要转换。总经理在任上，不管工作做得好不好，董事长对外人道来，总是要客客气气尊敬一下的。估计马氏的总经理干得还不错，所以《阅微草堂笔记》提及马氏，突出的就是她对侧室、儿媳的管理。
郭彩符是纪的侍姬之一。《槐西杂志》卷二第一百四十一条专门讲的就是这个女人，三百余字，不少了。纪简单讲了这女人的来历和命运的不佳。重点讲了两件事。一是纪受贬在新疆时，“姬已病瘵”，到关帝庙问了一支签，知道还能等到纪回来，但病却好不了，果然纪回来不久，郭氏就去世了。二是在郭氏死后，家里晒其遗物，纪睹物生情，作了两首怀念郭氏的诗：“风花还点旧罗衣，惆怅酴釄片片飞。恰记香山居士语，春随樊素一时归。”（郭氏亡在送春之日）“百折湘裙台画栏，临风还忆步珊珊，明知神谶曾先定，终惜芙蓉不耐寒。”
沈明玕是纪的另一侍姬，纪着墨最多，用了两篇七八百字。《槐西杂志》第二卷八十八条几乎是在给沈氏作传，除介绍了她的来历、自愿当富家之媵妾，“女子当以四十以前死，人犹悼惜。青裙白发，作孤雏腐鼠，吾不愿也”的心愿，还录了她一首小诗：“三十年来梦一场，遗容手付女收藏。他时话我生平事，认取姑苏沈五娘。”而且说沈氏临终前生魂跑到纪晓岚“侍值圆明园”的住处去探望了他。沈氏死后，纪在其遗像上提了两首诗，其中一首为：“几分相似几分非，可是香魂月下归。春梦无痕时一瞥，最关情处在依稀。”《滦阳续录》卷一第二十八条专门录了沈氏死前不久， “以常言成韵语”写的一首《花影》诗：“绛桃映月数枝斜，影落窗纱乡帐纱。三处婆娑花一样，只怜两处是空花。”说沈氏诗中“两处空花，遂成诗谶”（一花为沈氏不久亡，一花为沈氏婢女亦不久亡）。
