长沙失守后，蒋介石为确保衡阳，决定在渌水至衡山地区采取“中间堵、两边夹”的战略手段，将长沙地区之敌，屏障于禄水以北，蒋介石电令第九战区司令长官薛岳，迅速调整部署，以达成以上战略目的。蒋介石电令大意为：
一、令第10军守卫衡阳城。
二、令欧震将军率第37军、暂编2军，在禄水至衡山间沿铁路线和湘江两岸正面占领阵地，堵住南侵之敌。
三、令川军王陵基第30集团军所部第72、第58、第26三个军，和川军杨森第27集团军所部第20、第44两个军，在湘江东岸由东向西进攻醴陵地区之敌，令王耀武第24集团军所部第73、第79、第99、第100四个军，和第4军一部，在湘江西岸，由西向东攻击，与东岸川军形成对击夹攻之势，斩断向南进攻之敌。
由于战场形势急变，蒋介石的战略企图变成了“画饼”。
薛岳接到蒋介石电令时，第九战区仍在执行“各部队索敌攻计”命令，实际上是各部队均处于被敌追踪攻击状态，根本无法收拢部队，组织实施蒋介石的战略计划。直到6月23日，薛岳才与各部取得联系，下达各自的集结地点和攻击目标，但这时的战场形势已大大变样，为时已晚了。
还在进攻长沙之前，（火田）俊六大将即向各师团长指出，进攻衡阳比最为担忧的是中国远征军的回援和六、九战区部队形成拳头，使日军不能从长沙南下。要求各兵团务必注重进攻速度。
横山勇的作战方案中更是规定：在攻取长沙的同时，即以炮兵、坦克、铁道部队快速向南推进，以急袭和强袭手段，迅猛插入衡阳地区；要乘中国军队尚未部署好之前进攻。
根据这一战略意图，中路日军第一线兵团第68、第116师团，在第二线兵团围攻长沙城时，便沿长沙东侧继续南下，其意图好像是为了阻击从衡阳北上增援长沙的中国军队，实际上另有它图。
当日军第58、第34师团等部刚攻下长沙，已经过一定休整和补充的第116、第68两个师团，立即从株洲附近沿湘江两岸向衡阳推进，其行动之神速令人咂舌，如同平地兴起的狂涛向南汹涌卷去。
湘江东岸。第68师团，在佐久间为人中将指挥下，疯狂南进。在衡山地区与守军打了两天，便于6月23日清晨抢渡（氵米）水。23日夜间，进抵衡阳东南郊区的泉溪，并连夜渡江。24日白天，该师团主力，冒着美军飞机的轰炸扫射，继续强行渡江。渡江后，日军即向衡阳机场进攻，26日占领机场。
湘江西岸。第116师团与东岸日军齐头并进。6月23日到达衡山地区，迅速突破守军防线，于6月26日抵达衡阳附近，并迂回到城之西郊。
同时向南突进的还有第13师团。该路日军在长沙城被攻下时，从江西边镇上粟市地区突向南进，穿过萍乡、攸县、安仁等县境，在衡阳东北方，担任对井岗山地区中国部队的警戒，以保证向衡阳城进攻的日军的侧背安全。
这三个师团的日军，都是在中国军队企图中间堵、两边夹的部队尚未部署到位时，就顺利地突过了险峻地域。犹如排球场上打出的一个漂亮的“时间差”一样。
当日军快速部队在衡阳郊区的进攻打响一天之后，第27、第30两集团军才在渌水以北的湘赣边境山地集结起约十五个师的兵力，向醴陵地区出击。但是，这十多个师的部队，尚未充分展开，即遭到日军第3、第27、第34几个师团的先行攻击，“拳头”尚未举起，就被冲散。
湘江西岸的王耀武集团也没料到日军南下来得如此之快。本来要调集各军与东岸川军夹击敌人的，可是现在，他还未来得及集结部队，东岸部队就被冲散了，而且日军已经在攻衡阳城了。因而，在此夹击日军已失去意义，便令第100军和第74军各一部，跟着日军屁股后头向南追击，又令其他各军迅速向安化、新化、宝庆地区集结，准备去解衡阳之围。
日军围困衡阳的部队先后向孤城发动了三次规模巨大的攻坚作战。
6月28日。
日军一攻衡阳城。
日军第68师团在南面，第116师团在西面，同时向衡阳城发起急攻，意在一举拿下该城。
第10军军长方先觉、参谋长孙鸣玉将军率领所部预10师（师长葛先才）、暂54师（师长饶少伟）、第3师（师长周庆祥）、第190师（师长容有略），守卫衡阳城。
第10军自抗战以来，转战大江南北，将士英勇善战，屡建功勋，是一支以打防守战著名的精锐之师。在三次长沙会战中，该军都担任守卫长沙城的任务，在整个战区的会战中起砒柱中流作队，三次都在十数万日军包围之中，沉着应战，力挫日军锋芒，为第九战区主力的集结、反攻赢得了时间。在常德会战时，刚由预10师师长升任第10军军长的方先觉将军，奉命率部北上增援，在常德南面给敌第3师团以重创。
日军对方先觉的评价是：“方先觉是1941年秋冬第一次和第二次长沙作战时死守长沙的猛将（当时是第10军预备第10师师长），在1943年初冬的常德作战时任第10军长，曾向常德南侧增援，具有与我第11军，特别是与第3、第68师团交战的经验。”
第11军第3师团被日军称为野战优秀兵团，是第11军的精锐之一。第68师团亦是日军精锐，以攻坚见长。专门进行过严格的攻城训练。
衡阳城西南面有无数山坡高地，第10军在这里构筑有四通八达的战壕工事和无数暗堡据点，并将每个山头阵地前的断岩主坡削成九十度陡峭绝壁，进攻者只能架云梯才能向上攀登。
日军首先向这些心头阵地进攻。先以排炮集中轰击，飞机编队俯冲轰炸。
守军在敌机、敌炮狂轰滥炸时，都躲了起来。日军以为阵地已被摧毁，嚎叫着潮水般地向高地扑来。待日军涌到阵地前，突然从山头上甩出铺天盖地的手榴弹，直炸得山下昏天黑地，血肉横飞。
日军的冲锋一下子垮了下来。
接着，日军又在更强大的炮火和大批飞机的轰炸下，连续发动了几次大的冲锋，都被守军用手榴弹给炸了回去。
日军反复冲锋大半天，死伤累累，初战受挫。第68师团长佐久间为人中将十分恼怒，亲自到前沿指挥部队冲锋。正当他高举战刀嚎叫冲锋时，头顶上“嘘”地一声栽下来一颗迫击炮弹，还没等他回过神来，只见火光一闪，轰隆一声，天昏地暗。中将和他的参谋长原氏真三郎大佐，以及师团司令部的许多宫佐、士兵。都躺倒在血泊之中，痛苦地挣扎、蠕动。
第一天的攻击，就这样停了下来。
6月29日。
黎明，一层绛红色的晨光抹遍了整个天际。
城西面。
日军独立山炮第5联队、步兵炮队、速射炮队，一排排大大小小的炮口，悄悄昂起头来，对准山头阵地，一齐吼叫起来。
第68师团新任师团长堤中将指挥师团主力，发起大规模进攻，发誓要一举荡平山头守军。日军蜂涌到山坡下，剪断了阵地前的铁丝网，以为突破了缺口，嚎叫着亡命地朝山上扑。扑了没多远，踩响了连环地雷，只见一道道吓人的闪光，一阵阵惊心动魄的爆炸，冲进去的日军顿时不见了踪影。
太阳从地平线爬起来一杆高，对着岿然不动的守军阵地露出了笑脸。
城南面。
第116师团白天的进攻也跟第68师团一样，一步不前。夜里派出一个联队的兵力搞夜袭，结果，等日军摸到铁丝网处，突然遭到一顿手榴弹好炸，丢下一堆堆死尸败退下来。
6月30日。
日军两个师团的进攻，除在守军阵地前丢下无数死尸外，一无所获。
7月1日，黎明前。
日军集中各种炮火，对城西第一线山头阵地逐一轰击。在百十门炮火一个小时的轰击后，日军突击部队的指挥官们确信守军阵地已被彻底摧毁，胜利完全有把握。这才对着尚未完全亮开的天空射出一颗太阳似的小红球——冲锋信号。
日军又一次朝着守军阵地蜂涌冲去。冲在前面的两个中队，搭上方梯，争相往上爬，眼看就要上阵地了。
突然，从那些被炸得乱七八糟的阵地后面冲出来许多中国军士，手榴弹冰雹似地砸了过来，正往上攀登的那两个中队的日军，转瞬间就被手榴弹的闪光和硝烟全部吞灭，一个也未能生回。
守军越战越沉着、勇敢，他们用手榴弹对付日军的飞机、大炮，把冲锋的日军越放越近，在手榴弹的最有效杀伤距离内打击敌人。
7月1日中午以后，一直到7月2日上午，恼羞成怒的日军，在飞机和炮火的连续猛轰下，冲锋一次跟着一次；许多回，日军爬上云梯，上了山顶阵地，却又被突然冒出来的中国军队的集束手榴弹给炸掉。冲上去的日军，无论多少，全部被手榴弹报销，总是有去无回。
7月2日下午。
日军的炮火哑了，冲锋也停了。只有大群大群的日军飞机还在接连不断地轰炸、扫射和施放毒气。
横山勇接到攻城的两个师团的报告：我军进攻受挫，从6月28日发动攻城以来，已逾五天，未能前进一步，部队伤亡惨重。炮兵部队炮弹已打完，步兵弹药也消耗殆尽，无力再发动进攻。
午夜时，横山勇经请示（火田）俊六总司令官同意，下今停止攻城。同时命令迅速向第一线攻城部队补充兵员和弹药。
日军以奇袭和强袭手段，闪电式推进得十分迅速，但是，企图以奇袭和强袭手段，闪电式攻取衡阳却遭到失败。
7月11日，清晨。
日军二攻衡阳城；
沉寂了八天的的衡阳城，又响起了日军第二次攻城的枪炮声。第68师团和第116师团，在兵员和弹药得到充分补充后，又向守军阵地发起大规模冲锋。
为给地面部队的进攻扫除障碍，日第5航空军出动主力轰炸衡阳城和守军阵地。其轰炸机第6、第44两个战队的主力，在第1飞行团战斗机掩护下，对市区和西南两面的山头阵地进行反复轰炸、扫射，将外围阵地上的据点、工事、战壕几乎摧毁殆尽。守军只好利用敌炸弹创出的一个个弹坑进行顽强抵抗。
更为严重的是，城内所有的有线通讯线路都被敌机和炮火炸毁。方先觉将军同各师、各团的联系中断。各??传令兵联络。
方先觉已无法在军部指挥全局、只得带着警卫到各阵地上去指挥、督战。
在敌人狂轰滥炸和大军包围之中，守军各部临危不惧，一直保持冷静沉着，施用他们的拿手好戏——手榴弹，将敌人放在近前狠狠炸。
7月13日。
日军第二次攻城又打了三天，仍然未能前进一步，第116师团的攻城主力——步兵第120联队，在联队长和尔大佐指挥下，向山头阵地发动冲锋。在山坡半腰间，遭到从弹坑中突然冒起来的一些中国军官兵的手榴弹狠炸。和尔大佐和许多日军官兵被当场炸毙，冲锋垮了下去。
进攻张家山的日军第2大队足立大队长和该大队5至8中队所有的官佐，全部在进攻中被守军用手榴弹炸死，该大队活着的士兵不足四分之一。
日军只能依靠空中和炮兵的轰炸效果向前一步步推进。即用飞机反复轰炸扫射，炮群集中轰击，将山头上的守军官兵全部炸死，才能占领那个山头，否则，只要阵地上还有一个中国军人，冲锋的日军就要挨手榴弹炸。
7月18日。
第68师团主力志摩旅团推进到小西门外四百米处，旅团的冲锋部队被守军火力压制，趴在地上抬不起头来。
师团炮火急忙给予支援，压制守军人力。支援炮火刚停，日军指挥官一声嚎叫，上千名日军从地上一跃而起，嚎叫着朝守军扑来。等日军近前，守军用手榴弹与敌混战，密集的手榴弹整整炸了一个钟头，冲上去的日军几乎被炸光，守军自己也被炸死、炸伤无数。
由于两军搅成一团，日军炮火无法开炮支援，眼睁睁看着自己的冲锋部队被消灭。这世界上绝无仅有的中国军队之手榴弹肉博战使倍受“武士道”亡命精神熏陶的日军官兵也感到胆寒。
7月19日。
经整整一天一夜的拼死肉搏，第68师团志摩旅团好不容易又向前推进了一百米——离小西门三百米了。
汉口，派遣军前进指挥所。
由于衡阳久攻不下，且伤亡惨重，（火田）俊六总司令十分气恼，在电话上对横山勇进行严厉训斥，并责令其迅速攻下衡阳城。
长沙，第11军前进指挥所。
横山勇放下电话，心里感到万分羞愧，面对作战地图，一愁莫展。指挥所里，高级幕僚和参谋人员们吵成一团。许多人摇头叹息，认为日军无法攻下这座城市；有的人大吵大闹，说应该赶快痛下决心，放弃攻城战斗，以免徒添伤亡；有的人据理力争，说投入数万大军，攻打了几十天，丢下那么多死尸，现在不攻了，作战部队的士气将因此崩溃，大日本皇军将在世界上威信扫地。因此，再大的牺牲也要再所不惜，攻城的仗还应打下去。
还有的人对攻城的第116师团和第68师团大加贬斥，说事情都砸在这两个无能的师团手上。连横山勇也对这两个师团十分气愤，认为这两个甲种精锐师团，四五万兵力，还配有那么强大的炮兵部队和轰炸机战队，竟然攻不下个衡阳孤城。况且城内仅有中国军一个军，无论从人数上还是从武器装备上，都不及日军一个师团。可见这两个攻城的师团素质之差，攻坚训练之不完善。
实际上，这两个师团一直是日军中的精锐。第68师团不用说，自编入第11军以来，次次出战，都是当着刀刃在用；第116师团因擅长攻坚作战，在1943年常德作战时，特地从第13军调到第11军，师团长岩永中将曾肩负过统一指挥各师团进攻常德城的重任。结果，在他指挥下，曾一度把常德城在地图上给抹掉了。
这两个师团在衡阳城不是打得不凶、不狠，而是中国军队的顽强抵抗比他们更凶、更狠。
7月20日。
横山勇不得不再次下令停止攻城。
衡阳作战已快一个月了，日军最担心的远征军到现在也没出现在湖南的大地上。
原来，当蒋介石签署远征军向北缅反攻的命令后，驻缅日军为对付远征军，迅速抽调兵力，新设了第33军，统辖缅东北战事，专门对付远征军的反攻。5月中旬以后，远征军两个集团军以及预备部队和游击部队，从缅东北向西进攻，一举改变了英、印军在东印英帕尔战场上的被动局面，从而扭转了缅甸战场的局势。
此时，中国远征军正在缅甸中部围歼日军，解放缅甸人民。
也就在这同时，美国对中国军队在豫中平原的失败和长沙的失守，现在日军又推进到湘南，进攻衡阳，便认为中国军队在大溃败，其原因是中国统帅部指挥无能。照此下去，中国将被打败。而一旦日本灭亡了中国，则将对同盟国、乃至东西方反法西斯战争带来不堪设想的后果。因此，“为了挽救中国”，罗斯福认为必须立即改组中国军队最高统帅机构。
7月6日。
罗斯福致信蒋介石：
我决定给史迪威晋升为上将军衔并希望你赶紧考虑把史迪威从缅甸召到中国，使他在你的直接指挥下统帅所有中国军队和美国部队，让他全面负责，有权协调和指挥作战行动，阻止日军的进攻浪潮。我认为中国的情况非常严重，如果不立即采取果断而适当的措施，我们的共同事业就会遭到严重的挫折……
蒋介石认为事情并非那么回事，拒绝交出指挥权。
方先觉指挥的第10军在衡阳的出色战斗，在关键时刻为蒋介石和重庆统帅部争了光。
7月中下旬。
日本上层发生突变。由于日军在太平洋上的失利和衡阳城下的败北，东条英机深感无力挽回其颓势。在国内军政界压力下，于7月18日，宣布内阁总辞职。随即，小矶、米内联合内阁上台；东条英机所兼内阁陆军大臣和大本营陆军部参谋总长等职务，也被同时解除。第11军前司令官、在第三次长沙会战中被打得最惨的阿南继任陆军大臣；关东军总司令官梅津美治郎大将，转任参谋总长。同时，海军统帅部的一元化也宣告破产，首脑更换。
日军三攻衡阳城。
横山勇决心孤注一掷，投入更大的兵力，并亲自上阵督战，一定要把衡阳这块骨头啃下来。
他向各兵团发出命令：
一、第40师团南下，占领衡阳城西北角，阻击第六战区援军。
二、第58师团南下，加入北面攻城。
三、第13师团（已在衡阳南方耒阳附近）北上，与第68师团一起共同攻打南门。
四、第3师团从茶陵转进耒阳地区，随时准备加入攻城作战。
五、第116师团仍攻打西门。
六、其他各师团和军直属部队，在湘江两岸，阻击来援的中国军队，使其不能接近衡阳。
7月25日。
长沙至衡山的公路已可通车，日军汽车部从将三十六吨弹药运至衡山，改由驮马辎重部队向衡阳转运，补充攻城部队。
这时，第64师团、派遣军直辖的松井部队和又一批野战补充队兵员到达长沙，并从长沙南下，补充衡阳的师团。
第三次攻打衡阳城之前，配置于该城四周的日军部队是：
北门：第58师团；军直辖炮兵部队（包括野战重炮兵部队、100mm加农炮部队、150mm榴弹炮兵部队）。
西北角：第40师团。
西门：第1l6师团；炮兵第2联队：步兵炮队；速射炮队；
南门：第68师团;第13师团；独立山炮第5联队；步兵炮队；速射炮队。
东门（湘江东岸）：第13师团一部；山炮第19联队。
天上：第5航空军在第三次攻打衡阳中受命出战的有：轰炸机第6、第16、第44三个战队；战斗机第1、第8两个飞行团。
8月3日，午夜，
敌轰炸机第6、第16和第44三个战队，一批接着一批地出动，对衡阳市区、西南两面高地施行地毯式轰炸，日机的大轰炸从午夜一直持续到翌日拂晓。
飞机轰炸刚停，城外四周炮群又万炮齐鸣，密集的弹雨一古脑儿地倾向城区，没头没脑地乱炸。
日军各路大军在震天动地的喊叫声中发起冲锋。
第116师团一部冲进当面一个山头阵地，发现战壕内蓄满了齐腰深的积水，可见中国军队将士们原来一直浸泡在深水中艰苦战斗。
该师团于天亮后发动的首次冲锋，又被顽强的中国军队用集束手榴弹炸了下来。夜里组织突击队偷袭，摸进守军阵地，以为大功告成，不料又被隐蔽于侧面的火力封锁了退路，突击队全部被消灭。
第68师团一清早发动的冲锋，扑上了一块高地，立即被守军火力压制，趴在地上既前进不得又退不下来。
师团炮火赶紧支援，轰击守军。又组织了两个大队的兵力发动冲锋，救援被压制在高地的部队。结果，守军以狂风暴雨般的扫射将这两个大队的中队长、小队长全部击毙，士兵死伤惨重，冲锋又告失败。
其它几个师团的进攻，也都被打垮、
8月5日。
上午，各师团的冲锋皆告失败。
下午，恼怒已极的横山勇命令军炮兵部队的重炮群一齐开火，轰击西北角和西南角的城外守军阵地。并企图以地动山摇般的大炮声来威慑中国军队，使之丧失战斗意志。
炮声确实厉害，大地在剧烈颤抖，仿佛天将崩裂地将塌陷。
已经过若干遍飞机轰炸和大炮轰击的守军阵地上的焦土，又重新被翻造了一遍。守军将士的意志仍未被摧毁。正如老乡说的那样，一个麻雀打三枪，胆儿都吓壮了。
由于两军犬牙交错，有三颗重炮炮弹落到了日军侍机冲锋的部队中，使他们自己的将士大受其害。
重炮一直轰到夜幕降临方停。
夜里，第116师团第133联队长黑獭少将决定由第1和第2两个大队组成夜袭队，研究好了行动方案，准备在深夜十一点开始出击。
十点过，正当这两个大队准备出发时，突然从守军阵地上打来一阵迫击炮。炮弹纷纷在夜袭队中间爆炸，第1大队长当即被炸死，第2大队长负重伤，夜袭队员死伤无数，且失去指挥，未及出动就鸡飞蛋打。
8月6日。
第58师团终于从北门攻进城去，与守军展开激烈巷战…
守军处境已非常艰难。
被日军包围了四十多天，弹药早已靠美军飞??难。现在两军又搅在一起，空投只好停止，一些部队弹药用尽，只能与敌拼刺刀。
与弹药一样，守军粮食亦靠飞机空运，空投无法进行，粮食亦告断绝。
冲进城来的一股日军距方先觉的军部仅一、二百米远。参谋长孙鸣玉带领特务营和军部科室人员，在军部附近同敌人厮杀。
军部与各师的联系彻底中断，到处都在展开巷战，传令兵也无法出去联络。各部队之间失去联络。
军部还有一部电台可与重庆相通。
方先觉将军含着眼泪，哽咽着口诉电文：
重庆。军事委员会蒋委员长：
敌人今晨已由北门冲进来，城内已无可用之弹及可
增之兵，危急万分。生等只有一死为国，来生再见。
方先觉、周庆祥、
容有略、葛先才、
饶少伟、孙鸣玉。
同叩鱼（6日）。
8月6日，夜。
重庆。蒋介石官邸。
蒋介石双手捧着电报，手不停地颤抖着。阅毕，他双手合十，屈腿跪在那稣受难的十字架前，默默祷告：主啊，拯救我忠勇卫国的第10军将士吧！
8月6日，夜。
衡阳城。巷战仍继续进行。
第58师团第93大队和第96大队，企图利用夜暗，匍匐偷袭守军。当敌人爬到射界时，守军突然点燃近处房屋，顿时光照如同白昼，随即手榴弹横飞，机关枪扫射，偷袭之敌陈尸累累。
第68师团仍旧被守军堵在西南城外阵地前。该师第57旅团长志摩源吉少将在前沿阵地正在指导士兵们捡拾守军甩过来的手榴弹反炸守军时，突然，守军阵地上打来几发迫击炮弹，其中一发落在旅团长附近，志摩少将和几名士兵均被炸死。
8月7日。
拂晓，第11军重炮群和各师团炮兵部队，又一次集中轰击西南两方向之守军阵地，炮击持续一个小时。
各路日军纷纷突进城内，展开大规模巷战。
下午。日军将一名守军俘虏放回，让其向方先觉带信，要求第10军停止抵抗。
半夜。日军控制了市内多数制高点，一部分守军在被分割包围中继续抵抗，一部分部队已失去抵抗能力。
方先觉认为第10军可能已死伤殆尽，为保全最后一些失去抵抗能力的将士免遭涂炭，叫那个带信的士兵向日军回话，同意下令所部停止抵抗，向日军投降。
8月8日，早晨。
在日军司令部里，方先觉与第10军四个师长见面，得知第10军尚有一万三千三百多名将士时，惊愕得说不出话来，随后痛哭失声，大叫：“早知道还有这么多人，我就不投降了！”说完，欲抢枪自杀，被日军监视人员抱住阻止。
衡阳保卫战，方先觉第10军孤军奋战四十七天。
第10军战死四千余人。
据日军陆军部大大缩小了的数字：日军在衡阳城的进攻作战中，死伤共一万二千一百八十六人。
日军从5月27日进攻长沙开始，至8月8日止，仅伤兵就达六万多人。战死人数与伤兵大体相等。
日军对第10军将士的英勇善战和方先觉的指挥才能钦佩备至。他们将被俘的第10军官兵编成一个军，取方先觉之先字和天皇昭和年号之和字，定名“先和”军，要方先觉任军长，并诱以优厚待遇，遭方先觉严词拒绝。
不久，第10军四个师长和一些官兵纷纷逃回重庆。同年12月，日方见方先觉坚决不为其所利用，不忍加害，为了体现日军的“俘虏政策”，以便瓦解更多的中国军队和“感化”重庆政府，将方先觉礼送出营，让其回归重庆。
蒋介石对第10军回来的官兵统统隆重欢迎，对他们曾投降一事不予追究。方先觉等人都分别安排在军界继续担任相应职务。
