魏太安元年（455）十一月，源贺改封为陇西王，出任冀州（今河北省）刺史，为征南将军。在赴任之前，他又上书道；“臣闻人之所宝，莫宝于生命；德之厚者，莫厚于宥死。然犯死之罪，难尽以恕，权其轻重,有可矜恤。今劲寇游魂于北，狡贼负险于南，其在疆场，犹须戍防。臣愚以为自非大逆，赤手杀人之罪，其做赃及盗与过误之愆应入死者，皆可原命，谪守边境。是则已断之意，更受生成之恩；徭役之家，渐蒙休息之惠，刑措之化，庶几在兹。”意思是说；他认为不是非杀不可之人，有罪者皆可以免死而让他们戍守边境，立功赎罪，既有益于个人,也有益于国家。高宗又很高兴地采纳了这一建议。之后许多定死罪者恕死徙边，为国出力。这两次改革，免死的何止是万千。源贺宽刑仁政功德之大，真是莫可估量。
后来高宗对群臣说；“昔源贺劝朕，宥诸死刑，徙充北籓诸戍。自尔至今，一岁所活，殊为不少。济命之理既多，边戍之兵有益。苟人人如贺，朕临天下，复何忧哉！”群臣咸曰：“非忠臣不能进此计，非圣明不能纳此言。”
源贺到了冀州以后，“鞫狱以情，，徭役简省，清约宽裕，甚得人心。”但是，源贺的行为遭到了他人的忌恨。有一个叫石华的人在源贺下属捞不到便宜，便诬告说源贺和和尚道可欲图勾结谋反。有司将此情况上奏给高宗，高宗根本就不相信，说；“贺诚心事国，朕为卿等保之，无此明矣。"乃精加讯检。之后搞清了事实，石华一诬告罪受到了应有的惩罚。高宗一面派人慰勉源贺”卿以忠诚颖至，著白先朝，以丹青之洁而受苍蝇之汗。朕登极研检，已加极法，故遣宣意。其善绥所莅，勿以嚣谤之言致损虑也。”一面对群臣说；“以贺之忠诚，尚致其诬，不若是者，可无慎乎！"时考殿最，贺治为第一，赐衣马器物，班宣天下。意思说：“不久，考察全国官员的政绩，源贺被评为第一，高宗赐给源贺衣马器物，并大加表彰宣传。源贺上表请求回朝，朝议以后源贺得民情，无人可代，遂不许其请，源贺在冀州任职七年，政绩卓著。
魏献文帝天安元年（466）三月，源贺被召拜太尉，位极一品。皇兴四年（470）八月，漠北柔然来犯北魏边境，献文帝御驾亲征征讨，大破敌军，并都督诸军屯于漠南。次年八月，献文帝不想作皇帝，准备将其位让给叔父京兆拓跋子推,乃派人驰往漠南，向源贺征求意见。源贺按照传统的父终子及的礼仪坚决表示不可，意识驰驿入长安，向献文帝正色谏阻，最后献文帝听取源贺意见，将位传给儿子元宏。于是元宏登极称帝，改元延兴，是为孝文帝。从这些事实可以看出，源贺在朝野是何等的有威信。
四月，居牧于河西走廊的敕勒部由于不堪忍受压迫，举旗反魏，杀死北魏殿中尚书胡莫寒和高平镇将假奚陵，魏派大将镇压，却遭掺败。于是在十月，派太尉，陇西王源贺又率兵征讨，大破叛军，降其部落2000余，接着倍道兼行，追击叛酋郁朱于到抱罕（今临夏），斩首3000余级。前后斩首5万余级，夺得人口1万余，杂畜3万余头，并将其余部迁徙到冀州，定州，相州，等地为营户。一举击灭敕勒族，称得起是势如破竹，摧枯拉朽.
源贺凯旋后，以年老辞职，孝文帝不许，命其亲自出漠南，都督三道诸军御边。按当时北魏的军事惯例，每年秋冬时，派军三道并行北上，以防柔然等乘秋熟时犯边，至仲春时撤回。源贺认为，这种秋出春回并不是长久御边之计，而且也浪费人力物力，于是建议，从各州镇召募勇敢之士3万人，不但免其徭役，而且厚家赈恤，将这些人分为三部，派大将统领，出塞长期屯田戍边，在那里筑城三座；每座1万人，“给强弩三百张，武卫三百乘，弩一副给牛六头，武卫一乘给牛二头”，并且多储造马枪及各种器械。冬则讲武，春则中植，并戍并耕，同时在防线南边设三处仓库，平时从附近州买粮充实，以备战时急用。这样，足食足兵，既可防止不虞，又可不必年年兴师动众。这本来是很有远见的秒策，可惜其时北魏由盛转衰，孝文帝等没有采纳。
源贺在漠南数年，年纪已高，逐几次上书孝文帝，称年高病笃，乞还骸骨。因其事情词恳切，允许还朝休息。但朝中有大事，都向源贺征求意见。太和元年（477）二月，源贺病重，孝文帝送其到温汤（今陕西临潼）治疗。孝文帝曾多次命人探看病情，派太医去治疾。终因病情加重，送回长安。
太和三年（479）秋，源贺自度在世不多时了，边遗训诸子；“吾顷以老患辞事，不悟天慈降恩，爵逮于汝。汝其毋傲吝，毋荒怠，毋奢越，毋嫉妒；疑思问，言思审，行思恭，服思度；遏恶扬善，亲贤远佞；目观必真，耳属必正；诚勤以事君，清约以行己。吾终之后，所葬时服单椟，足申孝心，刍灵明器，一无用也。"这正式一篇字字掷地有声的遗嘱，勤奋国事，廉洁淡泊的情怀溢于字里行间，闻者无不感动。
同年九月庚申日，一代名臣源贺逝世，享年七十三岁。孝文帝赠侍中、太尉、陇西王印绶，谥曰宣，赙杂彩五百匹，赐辒辌车及命服、温明秘器，陪葬于金陵。
源贺生前曾依照古今兵法以及先儒旧说，略采至要，撰写军事著作《十二阵图》一书，受到魏献文帝的好评。
源贺后代的确遵循遗训，为国贡献甚多，因此屡屡荣显于北魏隋，唐数朝。源贺长子源延，官侍御中散，赐爵武城子，卒，
赠凉州刺史、广武侯，谥曰简；次子源怀，官至骠骑大将军，卒谥惠公。源怀子源绍，曾为陇西郡开国公。另一子源子雍封乐平县开国公，卒赐车骑大将军，谥号庄穆。其余诸子皆居要职，源子雍之子源延伯因功进爵浮阳伯。源子雍之弟源子恭官赠骠骑大将军，尚书左仆射，司空公等，谥文献。源子雍的另一个弟源纂因功官至太府小卿，卒赠散骑常侍，征北将军，赠临颍县伯。源子恭之子源彪入齐朝而官至仪同大将军。源彪之子源师入隋官至刑部侍郎。源纂之子源雄入隋亦以功进上大将军，上柱国。直至唐代，源代仍为朝延显族，如源乾曜，源光裕，源郁，源休等皆官要职。源氏家族在正史有传的就多达20余人。所以《北史》作者赞道：“源贺堂堂，非徙武节。观其翼佐文成（拓跋浚），廷抑禅让，殆乎社稷之臣。怀于略兼举，出内驰誉，继迹贤孝，不堕先业。子雍立功夏方，身亡冀野。彪著名齐朝。师，雄官成隋代，美矣。”
