此时，在刘公岛上受压迫最深的练兵们，已经意识到日军将面临失败的结局，决定发动一次大规模的起义。他们的领导者是练兵营卫兵队少尉队长郑道济。郑是山东烟台人，生于1908年，毕业于葫芦岛航警学校，受过严格的军事训练，毕业后在国民党海军第三舰队教导队任中尉队副。“七七”事变后，国民党海军南撤，他没有随队南下，留在胶东加入了国民党山东独立旅姜黎川部，在敌后进行游击战争，后因看不惯姜部的领导作风而离开。1942年秋，他到刘公岛加入了汪伪海军，其目的不是为了卖身降日，而
是寻找暂时存身之地，等待时机，施展抱负。
除郑道济以外，练兵营4个上士班长连城、毕昆山、李仁德、刘国璋，以及“东海”交通艇中士副艇长王文翰等都有强烈的起义要求。他们组成了领导起义的骨干力量。
经过一段时间的密谋和准备，郑道济等人将起义的日期定于1944年11月5日。这一天是星期日，按照规定，岛内的官兵可以出岛游玩，出岛的船上午8时开，11时返岛，下午1时开，5时返岛。日伪军官们像往常一样三三两两地相继乘船出岛。上午7时30分，连城和毕昆山来到码头，装作看热闹的样子，夹杂在人群中，暗自观察日伪出岛的人数。下午开船前，两人又来到码头，继续观察情况，发现又有伪尉官数人出岛。下午1时30分，郑道济按原计划将起义骨干及部分练兵集合于练兵营第二兵舍，正式宣布起义。他站在床板上，高声说:“弟兄们，中央军已经快要打到威海了(实际上是八路军在戚家庄打了一个伏击战)，我们中国人决不当亡国奴，决不听敌人摆布，我们再也不受鬼子汉奸的欺压了，我们要拿起武器，消灭日本鬼子和汉奸，为我们的父老兄弟报仇。我们要杀出刘公岛，岛外有队伍接应我们，出去配合中央军打鬼子。弟兄们都是爱国的热血青年，愿意打鬼子的勇敢地站起来……”大家纷纷站起来，群情激昂地表示要跟日军战斗到底。
起义后，郑道济将部队编为3个突击队，分头行动。
第一突击队在毕昆山和刘国璋的率领下直奔日军辅导部，站岗的伪兵郭小嘎听说起义了，也迅速加入了进来，他们先奔值班室，将值班日军砍毙，又将在栈桥上钓鱼的3个日军击毙。经过搜查，辅导部再无其他日军人员，练兵们将缴获的十几支日本手枪和两挺轻机枪送回练兵营。
第二突击队在连城和崔大伟的率领下向要港司令部接近。他们佯装找人，说通门岗，径直奔向值班室，将值班的伪少尉军官丁尔为击毙，占领了司令部。
第三突击队在郑道济的率领下冲向西炮台派遣队，他们冲进炮阵地下面的窑洞里，说服守卫士兵加入了起义队伍。
