康有为当年曾在此讲学，故山下有“康岩”、“素洞”，洞口刻有康有为的题记。
四望山位于叠彩山之西，以山石奇特而著名，满山遍岭的石芽、石槽，和光怪陆离的石块，犹如一个用玑珠翠玉堆成的蓬莱仙岛。明人张鸣凤说：“吗望之下，乱石纵横，枕籍排突,半起半伏,坡陀隐珍，门径延蔓，亦它山所稀有。”四望山还是一个游览历史悠久的名山，旧时的亭、堂、台仅存残迹，山东面的悬岩上可见“四望山”三个篆字，题之下，刻有《四望山记》，两刻同属晚唐诗人元晦的作品。
由叠彩亭拾级而上止叠彩门，迎面为明末瞿式耜、张同敞的成仁碑，门右是纪念他们的“仰止堂”。瞿、张二人为明将，明末坚守桂林，后兵败被杀。堂内刻有二人遗像和他们的狱中唱和诗《浩气吟》。