最早在南京建都的是三国初期的东吴，其开国君主孙权于公元229年从荆州的武昌（今湖北鄂州）迁都建业（今南京）。公元280年东吴灭亡后，晋朝宗室司马睿于317年在建康建立东晋王朝。420年东晋灭亡后，一连又有4个小国在此建都，即南朝的宋（开国君主为刘裕，故史称“刘宋”）、南齐（开国君主为萧道成）、梁（开国君主为萧衍，故史称“萧梁”）、陈（开国君主为陈霸先）。历史上，把东吴、东晋以及宋、齐、梁、陈称作“六朝”。南京是“六朝古都”之说即发端于此。
此后，隔了340多年（越过隋、唐两朝），到了五代十国时期，唐末割据势力之一杨行密的吴国（史称“杨吴”）强大起来，杨的第四子杨溥于公元933年迁都金陵。937年十二月，杨溥卒，太尉徐知诰（后改名李）取得王位，在金陵建立南唐（以区别于大唐）。公元960年，赵匡胤在河南开封建立宋朝（史称北宋），着手结束五代十国的分裂局面。此时南唐依然存在。到了975年末，南唐后主李煜为宋兵所俘，南唐遂亡国。
北宋于1126年为金国所灭。次年五月，康王赵构在河南商丘称帝（是为宋高宗），史称南宋。不久，在金兵的猛攻下，赵构南逃。在抗金派的力主下，赵构于1129年五月在金陵“定都”。但这个宋高宗还是怕金兵会随时过江，乃于1138年正月逃往临安（杭州）。
1368年正月，元末农民起义领袖朱元璋在应天（南京）宣布建立大明王朝。1421年正月，明成祖朱棣迁都北京。明朝末年，清军入关。1644年春，崇祯皇帝朱由检自杀，大明灭亡。是年，大清王朝在北京正式成立。同年五月，作为明朝的残余，福王朱由崧在南京建立起弘光政权，史称南明。不过到了第二年五月，朱由崧就当了清军的俘虏。
1853年三月，洪秀全领导的反清起义军攻克南京，建立太平天国，改南京为天京。这是在清朝统治下出现的一个农民政权。在中外反动势力的夹攻下，这个政权存在了12年零4个月，于1864年七月失败。
1911年10月，辛亥革命武昌起义爆发，清朝统治很快崩溃。次年1月，伟大的革命先行者孙中山先生在南京就任中华民国临时大总统，建立了资产阶级民主共和国……后来，1927年至1949年，南京成为蒋介石国民政府的首都，为时22年。