随着孤岛形势的不断恶化，敌伪对谢晋元的威胁利诱也日甚一日。日军曾扬言不惜一切代价要把他劫持到手，而汪伪也以高官厚禄为诱饵，妄图促其就范。但是这些都是枉费心机。谢团长在1939年8月11日悬旗冲突一周年纪念日那天，领导全体官兵举行精神升旗典礼后，即席讲话说：“吾人应以个人生命贡献于国家民族，只有国家民族之自由而无个人自由；只有国家民族之生命而无个人之生命。一年前为悬挂国旗，吾同志死难四人，流血一百多人，大家必须以牙还牙，以血还血，永记勿忘。”接着他预立遗嘱，并函父母，重申他誓死报国之决心。信中有云：“上海形势恶化，租界自身难保，而敌人对男之企图，势在必得。大丈夫光明而生，亦必光明磊落而死，男对死生之义，求仁得仁，泰山鸿毛之旨，熟虑之矣。人生必有一死，此时此地而死，实人生之快事也。”视死如归的凛然精神，溢于言表。
1941年4月24日清晨五时，谢晋元如往常一样率士兵们早操。此时，已被汪伪收买的郝鼎诚、张文清、张国顺、张福忠等四名士兵故意迟到。谢因此将这几人叫到一旁询问。早有准备的四个奸徒忽然拔出凶器，群刺谢晋元，中头胸数处。谢晋元重伤倒地，流血至黄昏许，医治无效，一代抗日英雄，就这样悲愤以殁，时年仅37岁。
噩耗一经传出，举国震悼。各地唁电如雪片飞来。上海同胞往孤军营吊唁者有30多万人，素车白马，途为之塞。国民政府给予谢晋元以极高的评价。通电表彰，追赠其为陆军步兵少将。当时全国各地的报纸都为追悼谢将军而出了特刊。
谢晋元逝世半年后，日军进入租界，将孤军营谢余部解送各地为苦力。国军回师之后，八百壮士返沪者百余人，皆结庐于谢团长墓侧，多年不去。国府改四行仓库所在地的胶州路为晋元路，并树碑传以为志焉。郭嘉良