明朝正德年间，杭州开灯谜大会，西湖边上到处挂着灯谜。有打文字的，有打成语的，有打俗语的，有打诗句的。人山人海，好不热闹。正巧号称四大才子的祝枝山也在杭州，他听说有这么一个好去处，刚刚上灯便迫不及待地去看热闹。
祝枝山边走边看，停在了一个灯谜前面。这个谜语有点出奇：一边挂了一张关公脸，一边挂了一串一千文铜钱，要求打一俗语，祝枝山一思索，拿了一千文铜钱就走。
看谜语的人都喊了起来，说这个人怎么回事，不猜谜语只拿钱，这怎么行？于是，一些人拉着祝枝山，来到灯谜长那里让他裁决。灯谜长笑着说：“他猜中了！”大伙儿好奇地问：“你怎么知道他猜中了？”灯谜长不慌不忙地说：“你没看见吗？他只要一千文钱，却不要关公脸，这不正是‘只要铜钿，不要面孔'这句俗语吗？”
从此，这句话便借着这个有趣的故事传开了