行省的设置可以上溯至南北朝时期。在北方的魏国，为了统一指挥战事和调度战区人力、物力，在州之上设立“××道大行台”，集中行使军事、行政权力。唯随事而设、事毕则废，并不是一个常设机构。隋、唐初期，为集中战役方向的力量，也延袭设立。唐太宗李世民曾担任过“陕东道大行台”的职务。辽、金所设“行军元帅府”、“尚书行台”等，名殊实同。元朝，初设“行御史台”、“行枢密院”、后乃一之，名曰“行中书省”。至此，中国延绵二千多年的郡（州）、县二级制地方政权的设置格局为之大变。明代虽废行中书省而代之以承宣布政使司、提刑按察使司、都指挥使司，但三司所辖，与元之行省无别。省制遂不可摇。清朝也基本上延续了明朝的行政区划，改称“承宣布政使司”为“布政使司”，通称“行省”。