抗战胜利后，故宫文物转移到了南京，后又用军舰运到基隆港。在台湾，庄严一直牵挂着留在大陆的石鼓。当年南迁时，庄严奉命负责把安定门内国子监两庑的秦代石鼓包裹装箱，开始庄严不知怎么包装又大又重且又极易损坏的石鼓，大收藏家霍保禄教了他包装石鼓的密方，庄严花了一个月的时间才终于完成这项艰巨的工程。这批石鼓自从战前在北平装箱运出，一直到运回南京，20多年来始终不曾开箱看过，这使庄严悬念不已，“每一想起即寝食不安”。
许多年后，大儿子庄申从香港带来消息说，有一本专谈中国艺术的《遐庵谈艺录》中曾经谈到石鼓后来开箱的情形：“1956年故宫有设置铭刻馆之议，因约同人于英华殿开箱检视有无损坏，余与焉。启箱则毡棉包裹多重，原石丝毫无损……”这个消息让庄严十分激动，他后来在《山堂清话》书中写到：“当我看完这段文字之后，不仅如释重负，内心更为之狂喜不已，40多年来对于这批国宝之运迁与维护，终于得到圆满的交代。”
庄严常对儿子们说，他此生有两件憾事：其一、未能使三希堂的三希重新聚首。他在《山堂清话》的“我与中秋、伯远二帖的一段缘”中曾写到过，当时第一批文物南迁之前，郭葆昌邀请马衡和庄严等人到他家吃饭，拿出了珍藏的中秋、伯远二帖供大家观赏。那时郭葆昌曾当来客及他的儿子郭昭俊的面说，在他百年之后，把这二希帖无条件归还故宫，让快雪、中秋、伯远三希再聚一堂。
后来文物迁台，三希中只有《快雪时晴帖》。郭昭俊曾带着中秋、伯远二帖去台湾，愿意履行他父亲生前宏愿，但希望能得到一些报酬。国民党政府当时资金紧缺，无力顾及。于是郭昭俊携此二帖远去香港，后来转售给大陆。三希帖至今仍没能聚首，这个遗憾让庄严耿耿于怀。
庄严的第二件遗憾，便是在有生之年，不能亲自带着这批迁台的故宫文物，重新回到北平故宫，回到他成长求学、立业成家、浸润深耕历代中国文化艺术的故乡。他的一首小诗反映了他的复杂心境：“我与青山结宿缘，岩居招隐四十年。此日披图重太息，何时归卧故乡山。”
1980年，82岁的庄严病逝台北。
