唐绚、玄年间（公元712----756年）生于魏州顿丘（今河南省清丰县）南寨村农民家庭。因排行第八，人称“南八”。在平定“安史之乱”中屡建奇功。南霁云青少年时代勤劳能干，喜爱学习，平时收工后总要习文练武。传说他会七十二路枪法，善骑马射箭，能左右开弓，百步之内箭无虚发。因家境贫寒，不得不弃家外出谋生，后投奔张巡部下被委以重任。至德二年（公元757年），安庆绪杀死安禄山后，派汴州刺史尹子奇统兵30万攻睢阳（今河南商丘县南）。睢阳太守许远向张巡求援。张、南引兵子宁陵向睢阳进发，攻破叛军防线与睢阳守军会合。后尹子奇披挂上阵，被南一箭射中左眼。为守住睢阳，安先向屯兵彭城（今徐州）的御使大夫许叔冀求援，但许无动于衷，南置骂而归。随率精骑三十突围至临淮（今江苏盱眙北）向御史大夫贺兰进明求救。南见其不肯出兵，便进前一步说：“睢阳与临淮近在咫尺，两地相依为存，若睢阳失守，临淮危在旦日，请大夫三思。”贺兰见南是难得将才，便想留于身边，于是设宴款待。南含泪道：“云来时，睢阳之人不食月余日矣。云虽欲独食，义不忍。虽食且不下咽。”说着，拔出佩刀自断中指。然贺兰仍不语，南说：“主帅之命不能完成，叛兵不能扫平，国际啊不得安宁，请留此指以示人之心，归报主帅，与城池共存亡。”随上马而辞。临出城怒弓会射佛塔，箭入半箭。并誓曰：“叛军平定后，必杀进明，此箭乃我志也！”。
是年十月，睢阳陷落，张巡、南霁云被虏。叛军尹子奇劝南投降，南禀禀正气，大声说：“男子汉大丈夫，不可向不义者屈服，宁掉头颅垂青史，不留骂名在人间。”昂首挺胸英勇就义。后人曾有诗云：洒血睢阳笑痴？故乡粗豆靡穷期；李唐社稷今何在？不及将军尚有祠！
《张中丞传后叙》中描写南霁云的部分；
南霁云之乞救于贺兰也，贺兰嫉巡、远之声威功绩出己上，不肯出师救。爱霁云之勇且壮，不听其语，强留之。具食与乐，延霁云坐。霁云慷慨语曰：“云来时，睢阳之人不食月余日矣。云虽欲独食，义不忍。虽食且不下咽。”因拔所佩刀断一指，血淋漓，以示贺兰。一座大惊，皆感激为云泣下。云知贺兰终无为云出师意，即驰去。将出城，抽矢射佛寺浮图，矢著其上砖半箭。曰：“吾归破贼，必灭贺兰！此矢所以志也。”愈贞元中过泗州，船上人犹指以相语。城陷，贼以刃胁降巡。巡不屈，即牵去，将斩之。又降霁云。云未应。巡呼云曰：“南八，男儿死耳，不可为不义屈！”云笑曰：“欲将以有为也。公有言，云敢不死？”即不屈。
这段话的译文是：
南霁云向贺兰进明请求救援，贺兰嫉妒张巡、许远的名声威望和功劳业绩超过自己，不肯出兵援救。贺兰喜欢南霁云的英勇和豪壮，不听他求救的要求，硬要留他下来，陈设酒肉，具备歌舞，邀请南霁云入座。南霁云情绪激昂地说：“我南霁云来的时候，睢阳城内的人已经有一个多月没东西吃了。我即使想一个人吃，道义上不忍心这样做，即使吃也咽不下去。”于是抽出随身佩带的刀砍断一个手指，鲜血淋漓，来给贺兰看。满座的人非常震惊，都感动奋激得为他掉泪。南霁云明白贺兰终究不会有为自己出兵的意思，就飞马离去了。快要出城的时候，抽出一支箭射向佛寺的高塔，箭射中在塔上，有一半箭头穿进砖里。他说：“我这次回去，如果打败了叛贼，一定回来灭掉贺兰！这一箭就作为我报仇的记号。”我于贞元年问路过泗州，船上的人还指着中箭韵塔砖告诉我当年的情况。睢阳城失陷时，叛贼用刀威逼张巡投降。张巡不屈服，随即被拉走，行将斩首。又威逼南霁云投降。南霁云没有回答。张巡对南霁云呼喊道：“南八，大丈夫一死罢了，不能屈从不义的人！”南霁云笑着回答说：“我原想要有所作为。现在您说这话，我敢不死吗？”于是他就没有屈服。
梁羽生曾在《大唐游侠传》中评价南霁云：敢笑荆轲非好汉 好呼南八是男儿。
