二十九军之建立中原大战使西北军遭受毁灭性打击。在蒋介石命令下，张学良将这支部队编成一个军，纳入其直属的东北军系列，番号“东北边防军第三军”。1931年6月，被南京政府改为二十九军，宋哲元为军长。
全军序列军 长宋哲元
副军长秦德纯
参谋长张维藩
总参议 萧振赢
第三十七师 师长冯治安
第一O九旅 旅长赵登禹
第一一O旅 旅长 王治邦
第三十八师 师长张自忠
第一一二旅 旅长 黄维纲
第一一三旅 旅长 佟泽光
暂编第二师 师长刘汝明
第一旅 旅长 李金田
大刀队1937年7月7日夜，守卫北平西南卢沟桥的第二十九军遇到日军挑衅和进攻，当即奋起还击，这次史称的“七七事变”开始了中国的全面抗战。消息传来，全国群情激昂，音乐家麦新在事变三天后便创作出著名的《大刀进行曲》——
“大刀向鬼子们的头上砍去，二十九军的弟兄们，抗战的一天来到，抗战的一天来到了。前面有东北的义勇军，后面有全国的老百姓。咱二十九军不是孤军，看准那敌人。把他消灭！把他消灭！冲啊！大刀向鬼子们的头上砍去，杀！”
这首歌最初的词句，是以二十九军在长城喜峰口夜袭日军的事迹鼓舞该部抗战，后来，随着它雄壮的旋律响彻全国军队和民众之中，“二十九军的弟兄们”便改为“全国武装的弟兄们”。
抗战初期，提起二十九军的大刀队，在全国可谓如雷贯耳。二十九军的前身最早是冯玉祥的起家部队北洋第十六混成旅，后来发展成国民革命军第二集团军。该部长期驻扎在贫寒的西北地区，装备差，士兵成分却比较淳朴，冯玉祥也特别强调肉搏训练。在1930年的蒋冯阎大战中，西北军被蒋介石打败，冯玉祥的基本部队被南京政府收编，给了一个第二十九军的番号，但在待遇和供应补给方面一直受到歧视。1933年初长城抗战开始，二十九军担负了喜峰口的阵地防御任务，当时部队情况是“火力弱，有兵无枪，有枪缺弹，只是每人大刀一把，手榴弹六枚”。面对日军以空、炮协同的猛烈火力攻击，中国官兵只能依托长城抗击，部队守在工事里被动挨打伤亡很大。
1933年3月6日，宋哲元第二十九军奉命防守冷口迤西至马兰关一线的长城各关口。7日，二十九军接防喜峰口，凌源、平泉战败退兵喜峰口一带的万福麟部，无力再战。9日，日军步骑联合部队和伪军一部，乘万福麟部和二十九军三十七师交接阵地之时，向喜峰口外约20里的一个前哨据点孟子岭发起猛攻。傍晚，日军占领高地，控制了口门。王长海团以半天时间，前进100多里，从遵化赶到喜峰口。
日军先头部队已占领口外东北方长城制高点，并有敌步骑500名向喜峰口方面冲击。王团天黑时，潜登山头，以大刀砍杀一批日军，将制高点夺回。当夜，一0九旅旅长赵登禹、何基沣二人商议后认为应以夜袭反击敌军，便组织起500人大刀队，于3月11日夜幕降临后直扑日军宿营地。。
大刀勇士们攀垣越墙分头入村后，以迅雷不及掩耳之势抡起大刀横砍直劈。骄狂的敌兵根本没想到中国军队敢来偷袭，都在呼呼大睡，不少人梦中便做了刀下鬼。随后支援日军包围而来，双方短兵相接，大刀队边战边撤，喊杀之声震撼大地。当时报道是“夜杀敌千余”肯定有所高估，不过日军的确伤亡不小，参加夜袭的500名大刀队员也大部分壮烈牺牲。
10日凌晨3时，中国军队乘黑夜出敌阵烧毁敌行李车数十部，歼敌约500余人
这一仗后，二十九军大刀队名震天下，成了全民族抵御外侮的偶像。何香凝曾赋诗一首称赞：杀敌何须更渡海，数万倭奴引颈待。钢脚夜眼青龙刀，捷音传来齐喝彩。二十九军民族光，挞汝倭国军阀狂。国仇重重何日忘，誓到东京饮琼浆。
在抗日战争中长城抗战失利后，1935年日本又挑起“华北事变”，逼迫中央军撤走，日本的“北支那驻屯军”对这支部队软硬兼施，一面不断以前推驻地和要求通过中国军驻地为由寻衅，一面以“亲善”为名收买拉拢，还邀请张自忠、何基沣等将领赴日参观，以战列舰、航空母舰、飞机、坦克和现代兵工厂向这些来自农业国的军官炫耀。面对使馆区的日军公然到长安街进行步坦协同巷战演习，二十九军在北平城内针锋相对地进行了带示威意义的大刀队演练。
“七七事变”爆发当夜，日军在卢沟桥边进行所谓“实弹演习”，随之又强行要求进入宛平城。早就怒火满腔的二十九军指挥官下达了“以宛平城与卢沟桥为吾军坟墓，一尺一寸国土不可轻易让人”的命令。何基沣旅的吉星文团阵地受到攻击后，守军不仅奋勇还击，还有一部冲上铁路桥，再一次挥动大刀近战肉搏，将桥上的日寇全歼。
卢沟桥战斗打响后，二十九军的军长宋哲元虽组织抵抗，却舍不得作为杂牌好不容易得到的平津地盘，仍存媾和的侥幸之心，多数士兵呆板地集中在营区内。7月28日，驻平津的日军兵力已由一个旅团增至三个师团，便突然袭击南苑、沙河。没有防空武器和反坦克炮的二十九军官兵用血肉与敌飞机、坦克相搏，当天死伤约5000人，副军长佟麟阁与师长赵登禹阵亡。7月28日夜，宋哲元率部撤出北平向保定方向撤退，古都随之陷落。7月29日，驻天津的二十九军部队同保安、警察部队一同攻击日军机关及租界，一度攻占北仓飞机场、天津火车站，造成日军一定杀伤。次日，因日军调来重兵反扑，守军撤出天津南下。
二十九军撤出平、津后，军委会将其编成三个军，番号分别是五十九、六十八、七十七，均是“七七”相加为十四这一总数。除了驻察哈尔的第六十八军刘汝明一向保存实力（平津抗战时他便不参加）并脱离了这一老系统，第五十九、第七十七军在抗战中又立下不少功勋。张自忠率第五十九军激战台儿庄后，又担任第三十三集团军总司令指挥第五十九、第七十七军转战武汉附近。1940年5月，张自忠在宜城南瓜店与日军作战时壮烈牺牲，成为抗战后第一个阵亡的集团军司令，受到全国各界的隆重追悼。
结局抗战后期，原二十九军系统部队在国民党最高当局排挤下编制不断缩小，靠着喜峰口、卢沟桥等荣誉才勉强保留下番号。抗战结束后，第五十九、第七十七军只剩下四旅八团，人数不过2万，该部官兵又对蒋介石将他们推上内战前线极为愤怒，长期在徐州以北防地消极避战。1948年11月，在分别于1929年、1938年便秘密加入了共产党的张克侠、何基沣率领下，这两个军于淮海战役开始时宣布起义，加入了人民解放军，从而迎来光明的前途。
