天津是“圣母军”地下组织活动猖獗的地区，摧毁“圣母军”的战斗首先在这里打响。1951年7月，天津市军事管制委员会主任黄敬签署并发布了第21号布告，宣布对“圣母军”予以取缔，天津市公安局依法逮捕了法籍“圣母军”头目文贵宾及的“圣母军”华北分会会长邓华光等人。得知天津“圣母军”遭取缔，在上海总部的莫克勤惶恐不安，他与沈士贤连续在其总部召开秘密会议，研究对抗的办法和措施。“圣母军”头目们的捣乱与垂死挣扎，激起了广大民众的极大愤慨，他们通过各种途径向党和政府举报“圣母军”总部的违法行为，并强烈要求摧毁“圣母军”在上海岳阳路的总部。1951年9月，上海公安机关先后将沈士贤、陈哲敏、莫克勤等意大利籍破坏分子苏冠明等人抓捕，并缴获一批武器和特工器材。山东、浙江、湖北、广东等地也雷厉风行地展开了捣毁“圣母军”的斗争。
莫克勤被逮捕后，对自己所犯罪行供认不讳。1954年5月1日，被关押了两年多的莫克勤被中国政府驱逐出境。至于披着“教廷驻华公使”外衣的黎培里，则于1951年9月4日，被南京市军管会永远驱逐出境。