江南高等学堂成立于1902年，由南京钟山书院在创办于1896年的江南储才学堂并入后改建，校址位于南京市延龄巷门帘桥。
江南高等学堂首任监督为原钟山书院山长缪荃孙。学生中的知名人物有化学家周仁、语言学家赵元仁、物理学家张贻惠、银行家谈荔孙等人。