完成收编工作后，自觉"兵强马壮"的阎锡山不断向八路军发动进攻。对此，我军给予坚决回击。1945年9月10日，上党战役打响，八路军毙俘阎锡山部队3.5万人。阎锡山不仅不甘心失败，还想借战斗力较强的日军将我晋冀鲁豫解放区一口吃掉。为彻底揭露敌人的阴谋，1946年初，国、共、美三方小组在山西调停内战时，陈赓将军作为中共代表严正指出，国民党部队正在利用战败日军打内战。国民党代表对此百般抵赖，美方代表则表示怀疑。为揭露敌人的这一罪恶行径，陈赓邀请三方代表前往晋军前线阵地一探究竟。在随从参谋不幸触雷牺牲的危险情况下，陈赓毅然带领三方代表走向晋军阵地。这时据守阵地的就是被阎锡山收编的日本兵，当他们看到陈赓毫不犹豫地向山上走来时，被吓得呆若木鸡。上山后，陈赓亲手将一名不知所措、身穿国民党军装却只会说日语的日本兵揪到三方代表和随行记者面前，用铁的事实揭穿了敌人的阴谋诡计。
只有少数人回到了日本
内战初期，阎锡山狂妄地认为，装备精良的晋军足以对付晋冀鲁豫的共产党军队，并没有让日军直接参战，而是按照"第二战区司令长官合谋社"的计划，让日军更多地参与后勤保障、通讯、训练等工作。没想到几个回合下来，晋军节节败退，尤其是1948年3月的临汾战役后，晋军主力面临被解放军一举歼灭的危险。阎锡山迫不得已要求第十总队的日军直接参战，并任命日军原驻长治旅团长原泉福（日本名为元泉馨）直接担任其晋中野战军副总司令。
不过，日军也挽救不了阎锡山失败的命运。一些思乡的日军开始开小差，千方百计想返回日本。剩下的日军也士气低落，而且他们看不起阎锡山的部队，如原泉福就十分看不起担任晋军主力晋中野战军总司令的赵承绶。1948年7月，晋中战役打响。在这次战役中，徐向前同志的部队一举歼敌10万余人，其中就包括第十总队。在战役中，出现了一幕幕有意思的场景：由于徐向前威名赫赫，日本兵一听到徐向前的名字就胆战心惊。在一次战斗中，几名解放军战士冲进了一间挤满日本兵的屋子，为首的日本军官并未指示手下开枪，而是走上来问："你的太君的徐向前？"战士大声说："对"。日本军官转头一声呼叫，满屋的敌人立刻缴械投降。在另一场战斗中，原泉福被我军迫击炮击中，重伤后自杀身亡。他死前对参谋处长哀叹："没想到徐向前的厉害，十总全完了！"随后，7名日军高级军官也纷纷自杀，十总主力被我军全歼。此后，在1948年至1949年的太原战役中，又有大约1100多名日本兵参战，700多人被打死，400余人被俘，至此，阎锡山部队中的日军已基本被解放军全部歼灭。
对于这些双手沾满中国人民鲜血的被俘日军官兵，解放军却发扬了人道主义精神，把他们送往大同云冈一带的煤矿进行劳动改造，特意安排他们在相对安全的地方"背矿"，并且保证他们能吃饱穿暖，帮他们改造思想。这些日军战俘从心灵深处感受到了解放军的关怀和温暖，他们中的一些人被遣返回国后为中日友好积极奔走，还有一些人留在了中国，希望能用自己的实际行动弥补日本军国主义对中国人民犯下的滔天罪行。
