1949年3月11日，郑州铁路管理局成立，就是现在的郑州铁路局的前身。
1983年武汉铁路局与西安铁路局一同并入郑州铁路局。
2005年3月18日，铁路改制撤消了原铁路分局这一级机构，将原郑州铁路局西安、安康铁路分局组建为西安铁路局；将原武汉、襄樊铁路分局组建为武汉铁路局；将原郑州、洛阳铁路分局组建为新的郑州铁路局。
拆分前郑州铁路局概况：
郑州铁路局是国有特大型铁路运输企业，位于全国路网中心。与北京、济南、西安、武汉、上海、太原局相邻。2002年，全局管辖营业线路38条（包括支线），营业里程2411.41公里，线路总延展长度6933.995公里，其中正线10086.6公里。管内15条干线纵横交织，既是豫、晋、陕三省煤炭外运的主要通道，又是京广、焦柳铁路的集散地，对于沟通内地与沿海及全国各大区之间的旅客运输和物资交流起着重要的作用，素有“中国铁路心脏”之称。全局有四等以上车站673个，其中特等站7个，一等站33个，二等站23个，三等站122个，四等站488个。
郑州铁路局地处中原，位于全国路网中心，与北京铁路局、济南铁路局、西安铁路局、武汉铁路局、上海铁路局及太原铁路局相邻。所辖京广、陇海、焦柳等营业线路和郑州等铁路枢纽纵横交织成网，构成东达沿海、南通两湖、西连秦晋、北接京津的铁路网络；线路贯通河南省，延伸至山西部分地区。在北纬29°35′～36°26′、东经105°34′～115°40′之间，占地面积460.08百万平方米。所辖线路跨越海河、黄河水系的主要河流有80多条和太行、秦岭、大巴山等山脉及其主要山地20多个。地形基本上呈西高东低，包括山地、高原、丘陵、盆地和平原。属温带大陆性季风气候。
地理环境郑州铁路局地处中原，位于全国路网中心，与北京、广州、济南、兰州、成都、上海、南昌局相邻。所辖京广、陇海、焦柳、京九、襄渝、汉丹、阳安、宝成等营业线路和郑州、武汉、西安、襄樊等铁路枢纽纵横交织成网，构成东达沿海、南通两广、西连川甘、北接京津的铁路网络；线路贯通河南、湖北、陕西三省，延伸至山西、甘肃、四川、重庆市、山东四省一市的部分地区。在北纬29°35′～36°26′、东经105°34′～115°40′之间，占地面积460.08百万平方米。其中郑州分局95.96百万平方米，洛阳分局70.0百万平方米，武汉分局91.47百万平方米，襄樊分局48.18百万平方米，西安分局120.09百万平方米，安康分局32.46百万平方米，局直属1.91百万平方米。所辖线路跨越海河、黄河、淮河、长江四大水系的主要河流有80多条和太行、秦岭、大巴山等山脉及其主要山地20多个。地形基本上呈西高东低，包括山地、高原、丘陵、盆地和平原。分属温带、亚热带大陆性季风气候。
组织机构2008年末，路局机关设限额内行政、党委职能部门26个，限额外职能机构5个，学、协会办事机构3个，派出机构2个，部控附属机构27个，其他附属机构10个。全局有各类基层单位57个，其中：运输单位30个，非运输单位15个，党校、报社2个，铁路公、检、法院单位10个。
全局有派出机构2个，即郑州铁路办事处和洛阳铁路办事处。郑州铁路办事处定员80人。年末现员人数为415人，其中调研员186人，内设机构142人，直管机构83人，劳务输出及退养4人。在职干部129人（不含调研员），工人97人。组织机构有6个，直管机构1个。洛阳铁路办事处定员60人，年末现员231人，其中调研员81人，在职干部92人（不含调研员），工人58人。
全局有各类基层单位57个。其中：生产一线运输单位车站8个（共管辖各类车站234个。含特等站3个（郑州站、郑州东站、郑州北站）、一等站16个、二等站17个、三等站68个）。
郑州铁路局直属站段单位：
车务段4个：洛阳车务段、南阳车务段、新乡车务段、济源车务段。
客运段1个：郑州客运段。
机务段3个：郑州机务段（郑局郑段）、新乡机务段（郑局乡段）、洛阳机务段（郑局洛段）。
供电段2个：郑州供电段、洛阳供电段。
车辆段2个：郑州客车车辆段（郑局郑客辆）、郑州北车辆段（郑局北辆）
工务段5个：郑州桥工段、洛阳工务段、新乡桥工段、南阳工务段、月山工务段。
工务机械段1个：郑州工务机械段。
桥梁工程段1个：郑州桥梁工程段。
电务段2个：郑州电务段、洛阳电务段。
管辖范围郑州铁路局线路管辖范围是：京广线北于柏庄、安阳间485.8公里处与北京局分界，南于临颍、孟庙站与武汉局分界；陇海线东于虞城、张阁庄间354.0公里处与上海局分界，西于太要、潼关间与西安局分界；焦柳线南于耿坡、郜营间与武汉局分界；新兖线东于算王庄、菏泽南间148.2公里处与济南局分界；京九线北于曹县、梁堤头间650.3公里处与济南局分界，太焦线北于夏店、大平间190.7公里处与太原局分界；邯长线东于长治北3.97公里处与北京局分界；侯月线北于嘉峰、端氏间147.3公里处与太原局分界。
