民国3年（1914年）前后，湖北、山东、河南、安徽等地来沪做工的穆斯林贫民集中居住在小沙渡（今西康路）一带。由于宗教生活需要，由湖北穆斯林在药水弄又租赁1间小屋，作为临时礼拜场所。民国10年（1921年）前后，金质庵、马乙棠、蒋星阶与上海清真董事拟定募捐２000元资助该寺，在药水弄内租地0．8亩，续租十年，建造清真寺。民国11年（1922年）7月竣工，共建大殿三间、对厅三间、厢房1间。民国24年（1935年）整修，大殿可容200人同时礼拜，庭院种植花草。民国36年（1947年），教长马人斌倡议募捐修建，并购置原租地产权。
1949年中华人民共和国成立以后，该寺屡经维修。文化大革命结束后，该寺于1979年重新恢复宗教活动。1990年，普陀区政府为改造药水弄旧区，决定在常德路拨地2.5亩重建清真寺。
1990年7月4日动工，1992年4月竣工。新建的沪西清真寺，建筑面积N％平方米。它由双心拱门，扇形穹窿顶的两层礼拜殿为主体建筑，与两条走廊辅助建筑相衔接，宣礼塔高达25米。礼拜殿分上下两层，配有男女浴室，讲经堂、教长室、会客室等。前后庭院各有彩色喷泉，院顶饰有6个拱形圆顶，3个装有新月标志。
这是中华人民共和国成立后上海第一座重建的清真寺。在重建过程中，普陀区政府，市民委、市伊协和各有关部门，海内外穆斯林给予很大的关切和经济支持，共集资约240余万元，其中普陀区人民政府拨资160万元，市伊协出资70余万元。
该寺历任教长有：马少山、马国兴、撒焕亭、买俊三、王笃生、张朝真、马人斌、沙春华。
1992-2003年，白润生阿訇任教长，王建政任副教长，杨振华任寺管会主任。
2003至今，金宏伟阿訇任教长，陈培良阿訇任副教长。2003年至2007年6月沙龙华任寺管会主任，2007年7月至今，金宏伟阿訇兼任寺管会主任。
