葛霸,真定人。姿表雄毅,善击刺骑射。始事太宗于藩邸;践阼,补殿前指挥使,稍迁本班都知,三迁至散员都虞候。雍熙中,幽州之师失律,大补军校,以霸为骁骑军都指挥使、领檀州刺史,戍定州。尝遇敌唐河,与战,败走之,斩获甚众。俄召为御前忠佐马步军都军头。端拱初,出为博州团练使,历潞、代二州部署。淳化元年,擢殿前都虞候、领潘州观察使,为高阳关副都部署,进都部署。凡七战。召还,制授保顺军节度,典军如故。出为镇州都部署,徙天雄军。
咸平三年,车驾劳师于大名,霸与石保吉同来觐。时康保裔没于河间,即日以霸为贝、冀、高阳关前军行营都部署。二月,就迁副都指挥使。未几,改邠宁、泾原、环庆三路都部署。四年,迁侍卫马军都指挥使,领感德军节度。
景德元年,河决澶州横垅埽,命为修河都部署。未行,属北边有警,真宗议亲征,以霸为驾前西面邢洺路都部署,又副李继隆为驾前东面排阵使,驻澶州。明年召还,以功特加封邑。上言朝廷居明德心丧,尚遏音乐,请停迎授之制,奏可。是年冬,以霸久典兵,年且老,罢军职,授昭德军节度、并代都部署。时廷臣有隶麾下者,颇扰军民,霸昏耄,为所罔,真宗知之,故有是召。
四年夏,徙知耀州。霸虽懦,然能谨直自持。会东封,表求扈跸。既以疾不能从,车驾还次卫南,疾少间,迎谒行在。上嘉其意,劳问久之。未几卒,年七十五,赠太尉。