武僧团的前身是少林寺僧兵。关于少林寺僧兵起源，一般都认为起源于唐初十三棍僧救唐王有功，唐王颁诏允许少林寺常备僧兵。到了宋代，传说宋太祖曾来少林寺，还调遣各路诸将轮驻少林，一来授艺于僧兵，二来取少林武术之长。元朝少林寺方丈福裕被皇帝任为国师，他倡导武术，支持僧兵练武。明代是少林寺僧兵规模最大的时期，少林寺僧兵应诏抗倭立功的就有500多名，寺院常备僧兵达到千人以上。清代少林寺有反清复明之嫌，朝廷多次降旨，禁止习武，少林僧兵作为一种制度，就逐渐衰落了。喜欢习武的武僧，只能自己偷偷练习。民国期间，少林寺武术尚有复苏之势，蒋介石游少林寺时，也看了武僧的武术表演，颇为惊叹。
新中国成立以来，特别是十一届三中全会以后，党和政府的宗教政策得到全面的贯彻落实，传统的体育运动都相继得到恢复和发展。为了继承和发扬传统的少林武术的满足社会上对少林武术的要求，少林寺1979年成立了少林武术队。1989年少林武术队正式更名为少林寺武僧团，仿照历史上僧兵体制，职能变为通过表演少林武术，达到弘扬祖国传统武术文化，宣传少林禅宗正法的目的。