府西街是一条古老的街巷。金代中叶，阳曲县迁徙到了太原府城中，县衙便设置于今府西街中段北侧。时以县衙得名，叫做“县前街”。至朱明王朝开基，废元代冀宁路，改置太原府，设府衙于县前街，选址县衙之东。于是县前街一辟为二，以三桥街南口为界，向西仍为县前街，向东则改名“府前街”，俗称“府门口”。
据《阳曲县志》记载，从明初至清道光年间，县前街和府前街是太原城中官署、学府、庙宇极为集中的街巷。不长的街面两侧 （主要是北侧），太原府衙、阳曲县衙、府文庙、府学、县学、黑虎财神庙……鳞次栉比。各个衙门、学府、庙宇前的牌坊，高大别致，一座接着一座，什么“熙朝毓秀坊”“龙光宠锡坊”“湛恩汪岁坊”“三晋首邑坊”……不一而足。
光绪年间，一场大水冲掉了浮盖在县前街和府前街的光彩。水灾后，府前街沦为太原城建房材料的交易市场，人们遂把多少年来显赫的府前街称为“灰市街”。
1931年，山西省督军阎锡山的督军府临近灰市街，因该街名不够儒雅，而且带有一个灰不溜秋的“灰”字，遂改灰市街为 “府西街”，以其位于督军府西边而名。太原解放后，随着旧城改造的发展，一些早年的街巷名存实亡。1958年打通解放路后，将县前街、府西街、灰市街等三条街道，合并为一街，统称为“府西街”。
