1945年8月15日，日本宣布投降，但直到1949年，还有不少日军在中国的土地上作战。他们总人数曾达到1.5万人，他们武器精良，身穿国民党军装，但最终没有逃脱覆亡的命运。
阎锡山亲自动员日本兵
1945年8月中下旬，战败日军开始在中国各地向当地的国民党军政首脑投降。时任第二战区司令长官的阎锡山在蒋介石的授意下，以接受日军投降为名，将3万晋军集结在平遥一带，一边接收日军的物资装备，一边准备对解放区发动进攻。
当时，山西的日军第一军有5.9万人，阎锡山既想把这支部队的武器装备据为己有，又想将日军残部收编，以对抗共产党领导的八路军（1946年6月后，逐步改称为"人民解放军"）。1945年9月2日，日方派出代表、第一军参谋长山冈道武与阎锡山谈判投降事宜。谈判还没开始，阎锡山突然对山冈道武说："日军虽然战败了，但素质优秀，希望能留下一部分日军负责保安工作。"面对阎锡山这一突如其来的要求，山冈道武有些不知所措，只好说："我回去和第一军司令官澄田睐四郎中将商量一下，尽量满足阁下要求。"在各种因素的作用下，日军山西派遣军总部答应了阎锡山的要求，并由澄田睐四郎出任山西省总顾问，山冈道武出任副总顾问。阎锡山还下令成立了"第二战区司令长官合谋社"，下设军事处、经济处、总务处、文化处，均由日本人负责，以达到让战败日军自我管理的目的。
尽管如此，当时集结在太原的部分日军低级官兵急于复员回国，不愿留下。为此，阎锡山不仅派人到各部队游说，甚至煞费苦心地亲自到日军军营中演讲，鼓动日军加入晋军，并许以各种优厚待遇，对日军军官更是极力拉拢。看到一些厌战官兵对此仍无动于衷，阎锡山开始勾结日军总部进行威逼利诱。"合谋社"为此还特别放出风声："如果留守人员总数达不到阎长官要求的1.5万人，就将在山西曾犯有杀人、掠夺、强奸等罪行的日军官兵作为战犯判刑，复员回国毫无希望。"有的日本兵还受到上司威胁---不服从命令者格杀勿论。这样一来，阎锡山终于留下了1.5万名日军。为对外保密，阎锡山一再否认侵华日军编入了晋军，还让这些日军穿上了国民党军装，并为其配发国民党军队的武器装备。在晋军中，有的日本军官甚至当上了旅团长。
陈赓亲手揪出一个穿国民党军装的日本兵
日军向阎锡山投降后，组成了所谓的暂编第十总队，总队长为日本人晋树德。大批日军高级军官则作为顾问、教官参与晋军的训练和指挥。这些人中有不少臭名昭著的战犯，亲手策划刺杀张作霖的日本关东军高级参谋河本大作就是其中之一。
