香炉山位于永登县城西南约5公里处丛山中，属祁连山东延支脉，主峰群山环抱，孤峰突起，陡峭而挺拔，形如香炉，时有云雾缭绕似轻烟，因似"香炉"而得名。东有大小马鞍山，南有刀棱山、西有卧龙岭，西北有胭脂屏（又名连花岭）。寺西数百米处有一泉眼，名香泉，香炉山以险峻著称，经能工巧匠在悬崖绝壁上建筑众多高低错落的楼台殿宇，昔日为永登著名观光之胜地。从东峰之间梨山老母洞上石壁有《万寿仙山古洞》的大明碑刻推断，这些楼台殿宇的建筑始建于明代，惜历经清同治五年，光绪二十一年，民国十七年三次兵变，原建筑已荡然无存。
相传，昔年香炉山共有建筑物三十余处，即山门、五佛殿、地藏殿、无量殿、三圣殿、娘娘殿、龙王宫、接引殿、五圣宫、八卦阁、千眼千手菩萨殿、黑虎灵官殿、勒马殿、梨山老母洞、真武殿、三清殿、三大菩萨殿、三宫殿、上道院、连云阁、斗母宫、关圣帝君殿、千佛阁、中天玉皇殿、道光石坊、香水泉、清凉亭、立山碑、碑亭、戏台等。每逢农历四月初八、九月九有山会，经商贩卖、游山玩乐者络绎不绝，商人来此过财神会，屠户来此来祖师会，满洲贵族每年五至八月初上山避暑，几乎四季有人游山观光。
一九八六年以来，本县群众集资在原玉皇殿旧址重建十米见方的两层连云阁一处，在戏台场址建房五间。目前“引大入秦"工程从此山经过，料定他年定会林木葱郁，建筑峰起，成为永登旅游胜地。