宣统元年（1909 年）六月，沪宁铁路局在上海站（即沪宁车站）建成一座四层办公大楼。该楼为英国人设计，造价32.9万银元，底层外墙用青岛石构筑，第一层楼以上均用钢柱支架横梁，红砖砌墙，饰以浅色条形嵌石，配大理石廊柱和拱形门窗，内有房76间。在当时堪称“构筑精美，气势雄伟”。因该楼建在上海站，人们就习惯把它作为上海站的标志。
1916年12月，沪宁、沪杭铁路接轨，沪宁铁路上海站成为两路总站，改名上海北站。
1932年，日本帝国主义者挑起“一二八”事件，沪宁铁路局的四层办公楼房毁于战火。
1933年修复，又在1937年“八一三”事变中再遭日机轰炸破坏。抗日战争胜利后又进行了修复。
1949年5月28日20点50分，上海北站于沪宁线上驶出上海解放后的第一列客车。
1950 年8月，经铁道部批准，上海北站正式更名为上海站，随后核定为特等站，办理客运和零担货运。从50年代到80年代，上海站进行不断的改造和扩建，至 1980年，上海站已有到发线11股、候车室3985平方米，车站的到发能力扩大到29对。1987年，旅客发送1859.0万人次，旅客到达 2077.4万人次。
1987年底新客站启用，以适应旅客运输量增长的需要。