冀州衡水人。少事州将张廷翰。太宗在藩邸，召置左右。即位，隶殿前左班，三迁东西班指挥使。征太原，一日，再中流矢。又从征范阳，先到涿州，与契丹战，生擒五百余人。翌日，上过其所，见积尸及所遗器仗，嘉叹之。师旋，擢为内殿直都虞候。上对枢密言：“潜从行有劳，赏薄。”复加马步都军头、领罗州刺史，改捧日右厢都指挥使、领富州团练使，迁日骑、天武左右厢都指挥使，领云州防御使。
雍熙三年，命大将曹彬北征，以潜为幽州道行营前军马步军都指挥使。师败于拒马河，责授右领军卫大将军，自检校司徒降为右仆射，仍削功臣爵邑。明年，起为内外马步都军头、领藩州防御使，寻拜殿前都虞候、领容州观察使。端拱初，加殿前副都指挥使、领昭化军节度，出为高阳关都部署。淳化二年四月，拜侍卫马步军都虞候、领武成军节度。至道中，出为延州路都部署，改镇州。
真宗即位，领忠武军节度，数月召还。咸平二年，复出为镇、定、高阳关三路行营都部署。契丹大入，缘边城堡悉飞书告急，潜麾下步骑凡八万余，咸自置铁挝、铁棰，争欲奋击。潜畏懦无方略，闭门自守，将校请战者，则丑言骂之。无何，契丹破狼山砦，悉锐攻威虏，略宁边军及祁、赵游骑出邢、洺，镇、定路不通者逾月。朝廷屡间道遣使，督其出师，会诸路兵合击，范廷召、桑赞、秦翰亦屡促之，皆不听。廷召等怒，因诟潜曰：“公恇怯乃不如一妪尔。”潜不能答。都钤辖张昭允又屡劝潜，潜笑曰：“贼势如此，吾与之角，适挫吾锐气尔。”然不得已，分骑八千、步二千付廷召等，于高阳关逆击之，仍许出兵为援。洎廷召等与契丹血战而潜不至，康保裔遂战死。
及车驾将亲征，又命石保吉、上官正自大名领前军赴镇、定与潜会。潜卒逗遛不发，致敌骑犯德、棣，渡河凑淄、齐，劫人民，焚庐舍。 上驻大名而边捷未至，且诸将屡请益兵，潜不之与。有战胜者，潜又抑而不闻。上由是大怒，乃遣高琼单骑即军中代之，令潜诣行在。至，则下御史府，命钱若水同劾按，一夕狱具。百官议法当斩，从驾群臣多上封请诛之。上贷其死，下诏削夺潜在身官爵，并其家属长流房州。潜子内殿崇班从范亦削籍随父流所，仍籍没其赀产。五年，会赦，徙汝州。景德初，起为本州团练副使，改左千牛卫上将军，分司西京。大中祥符四年，车驾西巡至洛，因令从驾还京，迁左监门大将军，还其宅。久之，判左金吾街仗。天禧元年，卒。
