岩岛位于太平洋红海湾，即遮浪镇近郊。岩岛岛东与岛西海面的情景是迥然不同的，东边波滚浪啸，如万马奔腾；西边风平浪静，如潭可印月。
民间传说从前南海观音娘娘云游至此，为海上奇观所吸引，便驻足岩岛。适遇岛东一渔船满载而归，她为了测试人心，即化作一老妇向其乞鱼，那渔民非但不给，反而奚落，她便使波涛汹涌。她转又向岛西的渔船乞鱼，那渔民虽然只捕到几条鱼，却把鱼连篮奉送，她便使浪平波静。其实鸟西与南澳半岛相隔很近，半鸟有如屏障似地挡住了风浪。这动人的传说，给岩岛奇景抹上神奇的色彩。
岩岛名符其实是由礁岩构成，特别是岛边，无数礁岩，横空屹立，千姿百态，美不胜收。岛东北面巨浪冲着礁岩扑来，掀起一个个滔天浪柱，胜似“卷起千堆雪”，当浪柱从空跌落之际，又若是天女撒花。这就是“岩岛雪浪”的胜景。而在岩岛日出更是一景。岩岛胜景，吸引着从多游人。音乐大师马思聪、书画家赖少其、革命作家丘东平、民俗专家钟敬文等都曾到此揽胜，触发创作灵感。
岛上有“后江平水”和“郑祖嬉庙”的遗迹。顺治七年（1650年），郑成功在福建出兵勤王，入虎门驰援。船至白沙湖时遇大风暴，风暴后在大星所遇清兵，大获全胜。正要乘胜前进，突然传来了厦门失守的消息，顿时乱了军心，诸将请求回师救援，哭声震天。郑成功无奈，只好回师救援。当时，郑成功之妹郑祖嬉殿后之兵为风浪打翻，郑成功葬妹于白沙湖畔之后江，并书“后江平水”四字，意愿其妹英灵在后江使海水平静如镜，然后率师而进。虽其墓至今未发现，但历代相传，且于清代雍正年间建“郑祖嬉庙”以资纪念。
“文革”期间，庙遭拆毁，记事碑与郑祖嬉木雕等文物也遭毁无存。庙现已重建。与岩岛相隔仅有数十寻的南澳半岛上有古戌堡，为林则徐所建，但现只存故垒残垣。