通往玉虚岩的路实际上是在条峡谷之中，这里，剑河水长年不断地涓涓流淌，山上 古树参天，峡谷中林荫浓密，景致怡人。玉虚岩位于刀劈一般的万仞绝壁之上，这一巨大的岩洞，最高处18米，最宽处11·5米，分上下两层，总面积约两千平方米。进入岩洞，随处可见当年庙房的遗址、摩崖石刻和泥塑彩绘的神像。
元代编撰的《武当山福地总真集》中记载：唐朝以前，武当山尚未出现道观，却“历代多隐居者”，那些高隐之士往往是“恨山不高林不密”，“惟恐闲名落人耳中”，多数是居住在人迹罕至的石室中。据记载，晋代有谢允，尹轨，南朝有刘虬，唐代有姚简等著名隐士，相继入山修道。显然，玉虚岩是当年他们隐居修道的极好场所。
据考证，玉虚岩内的岩庙始建于宋代，元泰定元年重建，明永乐十年又敕建殿宇。传说，真武入武当山也曾在此修炼过，真武有“玉虚师相”的封号，故这里得名玉虚岩。