《红楼梦》里焦大骂贾府“爬灰的爬灰，养小叔子的养小叔子。”通行本在这儿加了一个注：爬灰，公公与儿媳妇私通。但没说为什么爬灰表示这样一种意思。
爬灰也写作扒灰，清人王有光所著《吴下谚联》解释这两个词，关于“扒灰”是这样说的：过去有座庙香火特盛，附近住户就偷偷跑去扒取香炉中锡箔纸钱的灰，从中淘出锡来卖钱，扒灰为的是偷锡，所以用来隐指“偷媳”。另一个清人李元复在《常谈丛录》中则说 ，扒灰即在灰上扒行，会“污膝”，故用来隐指“污媳”。
但王有光解释爬灰没有沿用谐音法，而认为这词源于王安石与他的儿媳之事。王安石的儿子王雱早死，儿媳独居小楼。王安石不放心，暗中前往察看，儿媳“错会其义”，以为公公有意于自己，就在墙上题诗，有“风流不落别人家”之句，王安石赶紧“以指爪爬去壁粉”。事情似乎就这样结束了——然而《吴下谚联》在这儿加了一句意味深长的结语：外面流传的爬灰之语，就是打这儿来的。很显然，许多人是认定王安石有爬灰行迹而津津乐道了。以前常看一本民间文学刊物，那上面曾刊载这故事的现代语文版，说王安石和儿媳把暗通款曲的纸条儿埋在灶灰里，乘无人之时偷偷传递。说得这样有鼻子有眼，讲故事的人就仿佛赵树理小说里的说法，“公鸡下蛋亲眼见”。
史载，王安石确实曾对儿媳庞氏做过一件轰动一时的事。王雱是个神童，长大后又颇有*野心，受挫折后犯精神病，觉得儿子跟自己长得不像，就疑忌起来，千方百计欲杀之，结果小孩“竟以悸死”。王安石同情庞氏的处境，决定让他们离婚，还为她选定了合适的对象，像嫁女儿一样把她嫁了过去。同时还有个兵部员外郎侯叔献，继配是个悍妇。侯死后，，皇帝担心她虐待前妻之子，特意下了一道圣旨替侯叔献休妻，当时人们把这两件新闻编成两句话说：王太祝生前嫁妇，侯兵部死后休妻。王雱当时任太常寺太祝之职。
想来，最初的传闻应该是这样的：“王安石很关心儿媳，毅然解除她与精神病儿子的婚姻。”但有人可能听到前半句就已经浮想联翩，墙上题诗或灶灰里埋字条等情节纷至沓来，于是最终大获流行的便是王安石如何“关心儿媳”的暧昧故事了。