将军原本不是官名。战国时，各国多以卿、大夫领军。秦置将军，掌征伐战斗，往往事讫即罢。汉初承秦制，虽设将军，但不常置。至汉武帝时，战事频仍，将军广置，名位最高的是大将军、骠骑将军、车骑将军、卫将军，其次是前、后、左、右、中将军，还有名目众多的杂号将军，如强弩将军、拔胡将军、浚稽将军、贰师将军、横海将军、楼船将军、将屯将军、护军将军等。伏波将军即是这众多杂号将军中之一号，其命意为降伏波涛。
第一位出任伏波将军的即汉武帝时候的路博德。武帝元鼎五年（公元前112年），南越王相吕嘉发动叛乱，杀害汉朝使节和南越王赵兴及王太后，武帝任命路博德为伏波将军、杨仆为楼船将军，率船队十万人会师番禺，次年冬，叛乱荡平，汉朝在南越地区开置儋耳、珠崖、南海、苍梧、郁林、合浦、交阯、九真、日南等九郡。终西汉王朝两百余年，伏波将军仅此一人。路博德后来因犯事削爵贬官，以强弩都尉终。
最著名的伏波将军是东汉光武帝时候的马援。建武十六年（公元40年），交阯郡雒将之女徵则、徵贰聚众造反，攻取郡县，九真、日南、合浦等郡群起响应。徵则等占据六十余城自立为王。建武十七年，光武帝拜时任虎贲中郎将的马援为伏波将军，段志为楼船将军，发长沙、桂阳、零陵、苍梧四郡兵一万余人南平交阯。军至合浦，段志即病亡，马援并统其军，经一年多浴血奋战，至十九年春，全歼徵则、徵贰，捷报传京师，朝廷封马援为新息侯，食邑三千户。马援乘胜进击九真，扫除叛军余党残部，岭表肃清。马援每攻取一县一郡，即废止苛政，完缮城郭，兴修水利，抚境安民。建武二十年秋，马援率部凯旋归来，朝野故旧纷纷前往庆贺，马援了无得意之情，说：“昔伏波将军路博德开置七郡，才封数百户，今我微劳，猥飨大县，功薄赏厚，何以能长久……方今匈奴、乌桓尚扰北边，欲自请击之；男儿要当死于边野，以马革裹尸还葬耳！何能卧床上在儿女子手中邪？”随后又领命挥师出雁门。建武二十三年，武陵蛮反，朝廷先是派武威将军刘尚率万人前往征讨，竟遭全军覆没；次年，朝廷再派谒者李嵩和中山太守马成率军前往，又连吃败仗；于是马援主动请缨。光武帝怜其年老，不许。马援非常激动，像战国时老将廉颇那样，当场披甲上马，一展雄姿。光武帝十分赞赏，令他率兵四万平蛮。不幸出师未捷身先死，终为马革裹尸还。令人叹息不已。
第三位荣任伏波将军的是汉末建安时候的陈登。陈登是广陵一带的豪强。曹操为对付吕布，任陈登为广陵太守。建安三年（公元198年），吕布被杀，陈登因功加拜伏波将军。建安五年夏，孙策以兵围陈登于广陵之匡奇城，属下纷纷请求陈登弃城逃跑，陈登断然拒绝说：“吾受国命来镇此土！昔马文渊之在斯位，能南平百越，北灭群狄，吾既不能遏除凶慝，何逃寇之为邪？”于是闭城设计，发动夜袭，大败孙策军。
继陈登之后，建安时期还有一位伏波将军，那便是曹魏的夏侯惇。由于曹操与夏侯家有血缘关系，故夏侯惇在曹军中倍受亲信。建安九年，曹操扫平河北，夏侯惇以功迁伏波将军，并继续担任河南尹（太守）。至建安二十四年拜为前将军止，夏侯惇连任伏波将军十五年，比马伏波长一倍。
曹魏立国后，还任命过四位伏波将军：满宠、甄像、孙礼、卢钦。其中甄像是魏明帝曹叡之母甄后的亲侄子。青龙二年（公元234年），曹叡派他以伏波将军的印信持节监诸将东征孙权，大军方至，而孙权已退，甄像返还复命，仍任射声校尉，前后才两三个月，大概是任期最短的伏波将军。
任期最长的伏波将军是西晋的孙秀。孙秀本是吴主孙权四弟孙匡的嫡孙，时任东吴前将军。孙皓上台后，猜忌宗室，残害忠良。孙秀既是宗室至亲，又手握重兵，驻守夏口重镇，孙皓有如芒刺在背。建衡二年（公元270年），孙皓让亲信何定率五千人往夏口打猎。孙秀闻讯大惊，连夜携带家小随从逃往晋朝。晋以孙秀为骠骑将军，封会稽公。十年后，一片降幡出石头，孙皓成了晋朝阶下囚，孙秀以亡国支庶，降为伏波将军，虽然将军府衙依旧开，却空有其名，已无军可领。如此以往，竟至二十余年，死而后已。
晋代另外还有伏波将军三人。著名的炼丹术士葛洪，年轻时参与平定石冰之乱，胜了一场小战，便得了个“伏波将军”的封号，才二十刚出头的小伙子，并不把它当一回事，竟弃印寻师学炼丹去了，后来著有《抱朴子》等书，宣传他的神仙导养之法和炼制金丹之术。另外两位伏波将军，则都是晋军都督陶侃手下的属将，皆无可称述。
南北朝时代似乎什么都乱糟糟的。即于伏波将军的任命也不例外。这段时期中，仅正史所载，有名姓可考的，领受过伏波将军称号的多达四十余人。其中拓拔魏任命最多，不下三十余人。这大概与北魏政权过分崇拜汉族政治文化密切相关。然而多则滥矣，这是事物发展的必然规律。三十余人中，无一有影响者。
最后的伏波将军是南朝陈代的王飞禽。陈太建十四年（公元582年）正月，陈宣帝病故，太子陈叔宝尚未登基，太子次弟始兴王陈叔陵于宫中发难，持锉药刀袭杀太子，企图取而代之，未能得逞，于是仓惶逃窜。众追至街巷，将其刺倒在地。太监王飞禽也冲上前，拔刀朝倒地的陈叔陵连砍十数刀。事后论功行赏，王飞禽被封为伏波将军。
伏波将军的称号，由于马援以及路博德所建功勋业绩熔铸于其中，数百年间当当作响。历代帝王和朝廷都十分珍重，不肯轻易授人。陈登以太守领郡兵，其后以赏功再加拜伏波将军，用文官兼武职，将军实职成虚衔，即于其称号已存降损之嫌。夏侯惇晚年屡恨伏波名号为汉官，多次请求撤换，后终如所愿，伏波声威又销去了许多。孙秀由骠骑将军降格为伏波将军，加上他亡国支庶的身份和贰臣形象，使伏波名号再度受损。葛洪得之太易，又弃之不顾，使伏波名声损之又损。北魏王朝捡来当宝贝，大封特封，由于太多太滥，于其名号更是糟蹋得不成样子了。至陈代王飞禽以一宦者举一小功而得封，则更为人所不齿，隋唐时所修《陈书》中直书“阉竖王飞禽”，足见人情之所恶。自陈之后，一千三、四百年间，再也找不到“伏波将军”的踪影了。后世提及伏波将军者，唯念马伏波。
