1937年8月，中共中央派红军团长孟庆山等到冀中，在中共平汉线省委、保东特委（后改称保属省委、冀中省委）领导下，通过培训军事骨干，将当地民众自发组织的抗日武装组建成河北游击军。10月14日，国民党军第53军第388旅第691团团长吕正操（共产党员）率部南撤途中，遵照中共中央北方局关于回师北上抗日的指示，脱离国民党军，在河北省晋县小樵镇举行抗日誓师，改称人民自卫军。上述两支部队互相配合，广泛发动群众，开展游击战争，创建了冀中抗日根据地。1938年春，冀中地区抗日武装和晋察冀抗日义勇军第5、第8支队等部组成两个团及回民教导队，编入人民自卫军。在此期间，冀中军民挫败日军对冀中地区的第1次春季“扫荡”，并参加破击平汉铁路（今北京—汉口）的作战。至4月，冀中抗日根据地逐渐巩固，共建立了38个县的抗日政权和各种群众抗日救亡组织；人民自卫军发展到12个团、1个游击师、3个游击支队，河北游击军将较稳定的部队编为9个团、1个游击师、4个路。两支部队共6.6万余人。
5月，人民自卫军与河北游击军等部在河北省安平县合编为八路军第3纵队兼冀中军区，归晋察冀军区指挥。吕正操任司令员，孟庆山任副司令员，孙志远任政治部主任。纵队辖第7、第8、第9、第10支队以及回民教导队等部，第7、第8、第9、第10支队依次兼冀中军区第1、第2、第3、第4军分区。8月，王平任政治委员（1939年1月程子华继任）。9月，组编独立第1支队（后兼第5军分区）。10月，第3纵队编为5个支队、17个大队、4个团、1个回民教导队及县、区游击队，共6万余人。
1938年11月～1939年1月，第3纵队挫败了日伪军对冀中抗日根据地的第一、第二次围攻。1月25日，八路军第120师师长贺龙、政治委员关向应率第120师师部和1个旅部、2个团（欠1个营）、1个独立支队到达冀中，第3纵队即归第120师指挥，建制仍属晋察冀军区。随后，会同第120师主力挫败日伪军第三、第四、第五次围攻。3～4月，以2个独立支队与第120师2个主力团合编为该师独立第1、第2旅。接着，又在第120师及军委总政治部考察团的帮助下，进行整编整训，所辖部队编为警备旅和第6、第7、第8、第9、第10支队、南进支队及回民支队，共15个主力团；其中警备旅及第8、第9、第10、第6支队分别兼第6、第7、第8、第9、第10军分区。9月，第120师离开冀中回师晋西北地区。9～12月，第3纵队部分部队在新成立的整军委员会领导下，采取“战练结合”
的方针进行整训，使部队军政素质得到较大提高。整训期间，还进行了冬季反“扫荡”作战。
1940年春，第3纵队以5个团、回民支队2个大队及津南自卫军组成南进支队，以第6军分区机关组成指挥部，由程子华率领开赴冀南参加讨伐国民党顽军石友三部的作战；吕正操率警备旅参加晋察冀军区组编的南下支队，挺进晋东南，进行反击国民党顽军朱怀冰、庞炳勋部的作战；留在根据地的部队进行了春季反“扫荡”作战。7月，组建抗日军政大学第2分校第3团。8～12月，第3纵队参加了百团大战。1940年11月～1941年9月，第3纵队分3批进行政治整军，加强党的领导，纯洁组织，克服军阀残余和游击习气等不良作风。
1942年春，第3纵队实行精兵简政，部队缩编为12个主力团、13个地区队及回民支队；南进支队指挥部和2个团转隶于八路军第2纵队。此后，进行了“五一”反“扫荡”作战，在极端艰苦的条件下，与广大人民群众一起，运用地道战、地雷战、村落防御战、麻雀战、交通战等灵活多样的游击战术，给日伪军以沉重打击。同时，第3纵队也遭受严重损失，主力大部转移到北岳区，回民支队等部转移到冀鲁豫军区，并编入其建制。9月以后，留在冀中区的部队和游击队开始进行恢复根据地的作战。
1943年2月，第3纵队再次进行精简整编，部队编为6个主力团和11个地区队（有的仍保留团的番号）。警备旅划归八路军第129师建制，新编的6个主力团，临时分别编入晋察冀军区第1、第3、第4、第11军分区。3月，部分地区队返回冀中地区，进一步开展恢复根据地的斗争。至5月底，恢复和开辟了50多小块游击根据地，渡过了最困难的时期。6月以后，发起青纱帐战役。8～9月，为准备应付国民党顽固派发动第三次反共高潮，保卫党中央，吕正操奉命率6个团赴晋西北地区，后编入晋绥军区建制。8月24日，中共晋察冀分局与晋察冀军区根据中共中央的决定，撤销第3纵队暨冀中军区番号，其机关并入晋察冀军区机关，军分区由晋察冀军区直接指挥，继续坚持冀中平原的抗日游击战争。
