东汉建安十三年(208)，分歙县武强乡置新定县，故治在今浙江淳安县汾口镇，属新都郡。
西晋太康元年(280)，改名遂安县，属新安郡（治今浙江淳安西）。
隋开皇九年(589)，废新安郡，遂安县并入新安县，属婺州（治金华县，今金华市婺城区）。
仁寿三年(603)，遂安县复置，属睦州（治新安县，今浙江淳安)。
唐武德四年(621)，遂安县治迁狮城（(今浙江淳安县汾口镇仙居、童家坞一带)。
北宋宣和三年(1121)，属严州（治今浙江建德市梅城镇）。
南宋咸淳元年 (1265)属建德府（治今浙江建德市梅城镇），元属建德路（治今浙江建德市梅城镇），明、清属严州府（治今浙江建德市梅城镇）。
民国元年(1912)废府，改省直辖。民国3年设道，属金华道。民国16年废道，又改省直辖。民国24年属第五行政督察区，民国36年5月改省直辖，民国37年改属第四行政督察区。
1949年5月4日，遂安县解放，属建德专区。1950年改属金华专区，1955年复属建德专区。1958年10月，并入淳安县。