留异，东阳长山人也。世为郡著姓。异善自居处，言语酝藉，为乡里雄豪。多聚恶少，陵侮贫贱，守宰皆患之。梁代为蟹浦戍主，历晋安、安固二县令。侯景之乱，还乡里，召募士卒，东阳郡丞与异有隙，引兵诛之，及其妻子。太守沈巡援台，让郡于异，异使兄子超监知郡事，率兵随巡出都。
宋书及京城陷，异随临城公萧大连，大连板为司马，委以军事。异性残暴，无远略，督责大连军及以左右私树威福，众并患之。会景将军宋子仙济浙江，异奔还乡里，寻以其众降于子仙。是时大连亦趣东阳之信安岭，欲之鄱阳，异乃为子仙乡导，令执大连。侯景署异为东阳太守，收其妻子为质。景行台刘神茂建义拒景，异外同神茂，而密契于景。及神茂败绩，为景所诛，异独获免。
宋书侯景平后，王僧辩使异慰劳东阳，仍纠合乡闾，保据岩阻，其徒甚盛，州郡惮焉。元帝以为信安令。荆州陷，王僧辩以异为东阳太守。世祖平定会稽，异虽转输粮馈，而拥擅一郡，威福在己。绍泰二年，以应接之功，除持节、通直散骑常侍、信武将军、缙州刺史，领东阳太守，封永兴县侯，邑五百户。其年迁散骑常侍、信威将军，增邑三百户，馀并如故。又以世祖长女豊安公主配异第三子贞臣。永定二年，征异为使持节、散骑常侍、都督南徐州诸军事、平北将军、南徐州刺史，异迁延不就。
宋书世祖即位，改授都督缙州诸军事、安南将军、缙州刺史，领东阳太守。异频遣其长史王澌为使入朝，澌每言朝廷虚弱，异信之，虽外示臣节，恒怀两端，与王琳自鄱阳信安岭潜通信使。王琳又遣使往东阳，署守宰。及琳败，世祖遣左卫将军沈恪代异为郡，实以兵袭之。异出下淮抗御，恪与战，败绩，退还钱塘，异乃表启逊谢。是时众军方事湘、郢，乃降诏书慰喻，且羁縻之，异亦朝廷终讨于己，乃使兵戍下淮及建德，以备江路。湘州平，世祖乃下诏曰：
宋书昔四罪难弘，大妫之所无赦，九黎乱德，少昊之所必诛。自古皇王，不贪征伐，苟为时蠹，事非获已。逆贼留异，数应亡灭，缮甲完聚，由来积年。进谢群龙，自跃于千里，退怀首鼠，恒持于百心。中岁密契番禺，既弘天网，赐以名爵，敦以国姻，傥望怀音，犹能革面。王琳窃据中流，翻相应接，别引南川之岭路，专为东道之主人，结附凶渠，唯欣祸乱。既妖氛荡定，气沮心孤，类伤鸟之惊弦，等穷兽之谋触。虽复遣家入质，子阳之态转遒；侍子还朝，隗嚣之心方炽。
宋书朕志相成养，不计疵慝，披襟解带，敦喻殷勤。蜂目弥彰，枭声无改，遂置军江口，严戍下淮，显然反叛，非可容匿。且缙邦膏腴，稽南殷旷，永割王赋，长壅国民，竹箭良材，绝望京辇，萑蒲小盗，共肆贪残，念彼馀，兼其慨息。西戎屈膝，自款重关，秦国依风，并输侵地，三边已乂，四表咸宁，唯此微妖，所宜清殄。可遣使持节、都督南徐州诸军事、征北将军、司空、南徐州刺史桂阳郡开国公安都指往擒戮，罪止异身，馀无所问。
宋书异本谓官军自钱塘江而上，安都乃由会稽、诸暨步道袭之。异闻兵至，大恐，弃郡奔于桃支岭，于岭口立栅自固。明年春，安都大破其栅，异与第二子忠臣奔于陈宝应，于是虏其馀党男女数千人。天嘉五年，陈宝应平，并擒异送都，斩于建康市，子侄及同党无少长皆伏诛，唯第三子贞臣以尚主获免。