吴山峰峦连绵，逶迤排列，有十七座。其中以镇西峰、大贤峰、灵应峰、望辇峰和会仙峰最为著名。镇西峰位于其他四峰之中，卑而独秀，诸峰列峙，被视为昊山主峰历代帝赐封吴山之号，即为此峰。六贤峰位于镇西峰之左，凝峭插天，秀棒突起，賓俨然拱肃之状，固之名贤峰。峰右有四座山峄。k应峰在镇巧峰之右，峰下有湫池,值岁天旱，乡民采it祈祷雨水每#灵验而名。峰左有二小峰，右有一峰。
会仙峰在应灵峰之南，层峦叠翠，林窈幽窕，时有高士逸人，游栖于此，固名会仙。峰北有一小峰，南有四座小峰。望辇峰在大贤峰之左，秀并群峰，形若北顾，好似有所盼企。故名望辇。左有几座小峰。
吴山自隋以后，便有许多建筑。这是为历帝王祭祀方便而为。这些建筑以昊岳庙为主，成一颇具特色的古建筑群。《隋书札记》记载：隋开皇十六年正月，朝廷准许西镇吴山造建庙宇，后历经唐、宋、明、清各代均有修建。明洪武十二年，降勅增修，建筑焕然一新，明王朝并遣官颁赐金香炉一座，永乐、正统年间>均有樣建,永乐皇帝以后各帝登基，皆遣重臣祭祀。