铁路运输检察院的立法渊源是1954年第一届全国人大第一次会议通过的《检察院组织法》。该法首次规定设立专门人民检察院，即军事人民检察院和铁路、水上运输人民检察院。“并且地方各级人民检察院及专门人民检察院在上级人民检察院领导下，并且一律在最高人民检察院领导下，进行工作。”⑴
1957年由于“左”的思潮对国家政法工作的影响，检察机关的一般监督和其他监督职能受到直接批判，检察权被严重削弱。铁路检察业务交由地方检察院管辖。后来，这种“左”的思想和作法，被林彪、“四人帮”加以利用，从1968年开始，全国各级检察机关自上而下被彻底砸烂。⑵1975年，第四届全国人大第一次会议修改通过的宪法第25条规定：“检察机关的职权由公安机关行使。”至此，检察机关被撤销。⑶
1978年，第五届全国人大第一次会议通过的宪法规定重新设置检察机关，我国的检察工作进入恢复和重建时期。次年，第五届全国人大第二次会议修正通过《检察院组织法》，将78年宪法规定的检察机关上下级的监督关系改为领导关系。1980年，国家重新设置铁路检察机关，其领导体制一直延续至今。
1980年以来的铁路检察机关分为铁路检察分院和基层铁路检察院两级，按照铁路局和铁路分局地域分布设置。铁路分局下设政法委员会，主管铁路公安、检察院、法院工作。从行政管理角度而言，基层铁路检察院的地位是铁路分局下设的一个单位，人事、劳资、经费全部挂靠铁路分局。铁路检察分院与铁路局的关系亦同。在检察业务方面，分院领导基层院工作，分院受路局所在地的省级人民检察院领导，最高人民检察院下设铁检厅领导全国铁路检察机关的业务工作。2005年3月，铁道部撤销59个铁路分局，实行路局直接管理站段体制。59个基层铁路检察院暂时归各自的铁路检察分院管理，形成路局直接下设两级检察机关的局面。
