龙岩寺位于永和县原泊洋乡，钟楼山下曲的石弯里。
传说公元18年，历史上著名的绿林，赤眉军起义，反对王莽新制，汉室宗亲刘秀趁机起兵反抗王莽。
王莽得知刘秀拥兵造反，立即发兵征讨，刘秀兵败，落荒而逃。王莽命人紧紧追赶，发誓将刘秀残部斩尽杀绝。刘秀从河南一路逃来，身边的兵卒越来越少，最后只剩下单人独马，他不敢走大路，专拣小路跑，渡过黄河后，立即进入吕梁山，想利用崇山峻岭的复杂地形摆脱王莽的追杀。
一日刘秀来到永和地面，真是人困马乏，疲惫不堪，可是后面仍是尘烟滚滚，追赶的队伍愈来愈近，形势十分危急。刘秀看到战马已大汗淋漓，气喘吁吁，越跑越慢，知道再跑下去必定遭擒。于是他下马来，在一岔道口将马放空，他独自走向另一座山崖，想找个地方躲避追兵。可是，这里除了陡峭的山崖和无边的杂草外，竟没有一处可藏匿的地方。
眼看追兵已经接近，急促的马蹄声像敲打着他的心房，四面都是“活捉刘秀”的喊声，刘秀心急如焚。
突然，他看到山崖下的草丛里有一道缝隙，拔开杂草一看，崖根下有一个小小的石窟，正好容进一个人，如果不是知情者，断然不会想到这里还能藏个人，刘秀高兴极了，不顾一切，侧身钻了进去。
王莽的追兵已到三岔路口。他们下马后，详细查看了地形和马蹄印，迅速向马跑的方向追去。可是不到一袋烟的功夫，这伙人又回到三岔路口，只听见一位军官说道：“刘秀的马在向北的路上，却不见刘秀，他玩弄的是声东击西，他肯定向西边跑了，给我追！”接着，便听见一片杂乱的马蹄声向西而去。刘秀暗自庆幸自己躲了起来，否则不论向西还是向北，都逃脱不了王莽的追杀。
可是，不一会儿，马蹄声又渐渐接近，这说明追兵又回来了，还是那位军官的说话声：“刘秀没骑马，不可能跑出去很远，我们追了这么远不见人，证明他已经躲了起来，给我在这附近搜。”接着，便听见士兵们齐声答道：“是。”不一会儿山顶上，山坡里，山崖下，到处喊着：“出来！快出来！”虚张着声势。
刘秀伏在石窟里，紧张得连大气都不敢出，心跳的好像连山崖都在颤动。
寻找他的士兵脚步声渐渐由远而近，他甚至已看到士兵的身影在石窟前晃动，他知道生死就在这一刹那间决定，如果士兵发现了这个石窟，那他只有束手就擒。如果这次大难不死，他一定要大展宏图，成就帝业。现在他已经无人可以求助，只能求助山神保佑，他心里默默祈祷，如果能够逃过大难，将来一统天下后，定在这里建造寺庙，供奉山神及各路神仙。
士兵们已从山的两侧汇合到崖下，有的士兵已经精疲力竭，干脆躺在草丛中呻吟起来，刘秀从石窟里往外一看，那个士兵的脚，把掩盖石窟的草丛拔弄的来回摆动，还有几个士兵也向这里走来，他们也想学一学这位士兵，尝一尝躺在草丛中的舒服滋味。
情况更加危急，一旦士兵发现了这个石窟，那将前功尽弃。
自古道：“吉人自有天相。”正在这时，崖顶上传来那位军官的责骂声：“你们钻在崖底下想死呀，还不快去找刘秀。”这几个士兵听见军官的责骂声，不敢怠慢，立即四散走开。寻找了一个时辰后，山崖下又恢复了原有的寂静。山崖上，军官又指挥着这队人马向西追去。
刘秀直等到夜深人静后，才爬出石窟，只身潜回河南。
公元25年，他终成帝业，在郜南（今河南北柏乡）登上皇位。
他没有忘记在石窟内所许的心愿，下旨山西刺史，依照他的回忆，寻找他当年避难的地方，并紧依石窟修建了一座小庙，供奉着诸路神灵。这座小庙，人称之为“龙岩寺。”
