华尔于1862年9月在慈溪阵亡后，经白齐文、奥伦先后统带后，于1863年3月由英军少校戈登继任统领。戈登时期常胜军编制稍作调整，因新任江苏巡抚李鸿章的要求，人数下降到三千五百人左右。但炮兵变化不大，仅将中队改称连。炮兵连的人员编配，依装备火炮的种类而定，一般在144－174人之间，通常包括正副连长各一名、上尉两名、军曹一名（以上为西人）、旗手军曹一名、军曹六名、伍长十二名、炮手一百二十至一百五十名（以上为华人）。所配火炮的形制与前无大变化，数量略有增加。
常胜军在苏南诸战役中协助淮军，出力甚大。因英法军的行动仅限于上海附近，故当淮军打出上海后，全由常胜军配合作战。因当时淮军初换洋枪，炮队较少而不齐，每至攻坚，往往仰赖常胜军甚多。常胜军中的重炮，如三十二磅炮，在太仓、昆山及以后的苏常等地的攻坚战中起了非常重要的作用，常胜军中的一些主力火轮，如“海生（hyson）”号、“飞而复来（fire fly）”号等，都是载有三十二磅和十二磅榴炮的攻城利器。正因为此，戈登以后益发跋扈难制，李少荃虽派有副将李恒嵩会办常胜军管带，亦愈感棘手。待1863年12月苏州杀降发生，两人几乎势同水火。虽几个月后经过赫德调解，常胜军再次参战，但李、戈两人之间的裂痕难以弥合。到了1864年5月，李鸿章终于奏请朝廷批准，花银十万两将常胜军给资遣散。但留下其精华--炮队六百人与洋枪队三百人，编入淮军序列，此部下落待后文淮军章节中再叙。
除了常胜军外，还有中法混合的“常捷军”（即“花头勇”）和中英混合的“常安军”（“绿头勇”），该两军的军制与“常胜军”相似，在浙江作战。左宗堂经略浙江，麾下洋炮很少，攻坚多赖“常捷军”的炮火。例如1864年3月的杭州之战，太平军守军在常捷军的炮轰下弃城而走，结果途中大部被左军歼灭，便是一例。
三、中国近代炮兵之鼻祖-淮军早期炮兵
中国近代意义上的炮兵出现于十九世纪六十年代初期，由淮军开风气之先。淮军因衍生于湘军，在初期由湘军直接拨入的竟占六成。其初期的营制、装备当然与湘军相同，“其营制为曾文正手定，而李伯像遵守之”。唯抵沪以后，李少荃亲见洋人利器精良，遂师夷之长技，几年内淮军尽弃旧式冷热兵器，换装洋枪洋炮，成为中国第一支全近代化装备的军队。待平定太平军、捻军之后，淮军成为全国主要支柱武力，尽管有各种复杂原因所致，但淮军的装备战力无疑是一重要因素。
淮军的装备现代化也是有一个过程的。自1862年4－6月间，从水路出发的十三营和陆路出发的两营先后抵沪。到沪不久，就有挑选少量弁勇操练洋枪的记载。如6月15日虹桥之战中，程学启的开字营以洋枪百人诱敌而获胜，便是一例。之后令各营添练洋枪小队，先是韩正国的亲兵两营，后及于松、铭等营，到是年9月已有洋枪千杆。从9月底以后，李鸿章开始变更淮军营制，先将各营中的鸟枪队改编为洋枪队。以后又逐次改编抬枪、刀矛队为洋枪队，同时每哨添设劈山炮两队。改制后的淮军一营为：营官的亲兵变为两队劈山炮和四队洋枪队，前后左右四哨每哨改为两队劈山炮和六队洋枪队，这样全营有劈山炮十队四十尊，洋枪二十八队计三百二十八杆[，火力大大提高。改制后的淮军采用劈山炮护洋枪队的方式作战，屡战屡胜。到平吴以后的1865年，淮军五万余人，已有洋枪三、四万杆。剿捻以后原保留的旧式劈山炮和少许长矛也被淘汰，装备达到了完全的现代化。
