沂山气势磅礴，风景绝佳，自汉代以后历代帝王多立祠祭祀，故亦有相当的古代建筑。古迹、名胜比比皆是，有古寺、歪头崮、百丈崖、东镇庙、齐鲁长城遗址等。
古寺，旧称发云寺，是沂山林海的中心，海拔850米。它位于主峰东侧。这里是一块平地，周围群山环绕，东南开敞，宛若一把古式圈椅，发云寺就座落在这块平地上。相传发云寺建于东汉，当年这里殿宇崇丽，古木聚秀，香烟缭绕，暮鼓晨钟。今寺已废圮，其遗址上，建有沂山林场管理处和游客接待处。由发云寺北行一里许，两壁如石门，由间峪谷深峭，名“黑风口”。
相传，这里为梁山泊好汉李逵当年回沂水老家接老母去梁山泊路过之处。李逵放老母于一座山岗上，去山涧打水给母解渴，待回来时，老母被四虎吞食，仅余一腿。李逵气得鬓发直立，眼冒金星，一口气杀死四虎，痛哭一场，愤然离去。直至现在，这里仍层山障日，怪石嵯峨，乔松蔚然成林。