山东省沂水师范学校坐落在沂蒙山区腹地的沂水县城，其前身创建于1948年7月，是红色政权在山东解放区建立的第一所师范学校。
1948年7月，中国革命胜利在即，7月，鲁中南行署二专区（沂蒙专区）决定在新泰县嶅阳镇建立教干教师训练班，为前后方培养有文化、有知识的人才；10月，山东省府和鲁中南行署决定在此基础上成立“沂蒙中学”，以训练革命干部，培养小学师资。次年，改名为“山东省立沂蒙乡村师范”。新中国成立后，学校开始了新篇章，1950年，遵山东省府指示易称“山东省立沂水师范学校”，翌年，从嶅阳镇迁至沂水县城阳即现址。
经过半个多世纪的发展，学校已成为一所师资力量雄厚、教学设施先进、校园环境优美的省级规范化师范学校。学校现有教职工255人，其中具有硕士学位者15人，研究生课程进修班结业74人，专任教师170人；高级职称74人，中级职称80人；学校设党委，辖7个党支部共有党员132人。现有66个教学班，在校生3796人，分别来自泰安、济宁、临沂等八市。学校设附属小学一处，有20个教学班，在校生660人。
学校现占地354亩，规划用地500亩；建筑面积12万平方米；拥有教学楼3栋、音乐楼、舞蹈楼、图书实验楼、餐厅楼2栋（能容纳5000名学生就餐）、学生公寓4栋等建筑设施。学校建有多媒体计算机教室4口、多功能教室3口、课件制作室1口、语音室1口、电子阅览室1口、计算机培训考核中心等，建设了千兆校园网并与因特网实行连接，使宽带网进教室、进入教职工家庭。学校现有微机256台、钢琴47架，图书馆藏书6万余册。学生公寓内全部安装了202电话并备有宽带网接口，办学条件基本实现现代化。
2000年，经省政府批准，学校开始招收五年制小教大专生，停招中师。2001年，经省教育厅批准，在招收五年制小教大专生的同时，招收二年制专科班。从2003年始挂靠到临沂师范学院，正式成为临沂师院沂水校区。目前在校的学生全部为专科生。近年来，学校加大联合办学力度，已与南京师范大学、山东师范大学、曲阜师范大学、苏州高级技术学校等省内外著名高校签定联合办学协议。学校于98年开办英语、计算机、电子、音乐、体育、美术等多个专业的职教班，与海尔、海信集团等用人单位建立了良好的合作关系。
多年来，学校坚持“以德育为首，教学为中心，管理为重点”的办学指导思想，经过不懈努力，形成了适合沂蒙山区基础教育发展及当前市场经济需求的办学特色。建校以来，共为社会培养三万余名合格人才。毕业生素以作风朴实、专业扎实、勤奋敬业、适应和创造能力强倍受沂蒙人民赞誉。近年来，学生在各种类型比赛、基本功测试、推荐高考中均名列前茅，学生毕业时即取得国家承认的普通话合格证、英语及计算机等级证书；教职工中有3人获“曾宪梓教育基金奖”，23人获国家、省、市优秀教师或先进工作者，60人次获国家、省、市级讲课比赛一、二等奖，20余人参编教参书，850余篇教改论文在各级刊物发表或获奖。学校现承担国家级课题3项，省级课题5项。学校因教育教学成绩显著，先后获“山东省教书育人先进单位”、“省青少年工作先进单位”、“省语言文字工作先进单位”、“省级花园式单位”、“省级文明单位”、“山东省规范化师范学校”、“临沂市师德建设十佳学校”等荣誉称号并被确定为“山东省教育厅重大课题‘心理教育与实验研究’重点研究基地”、“全国教育科学‘十五’规划课题语文教育文化过程研究实验基地”等。
多年来，学校的发展得到了党和政府各级领导的亲切关怀、大力支持和充分肯定。1960年，学校被评为“全国文教先进单位”，光荣出席了全国群英会，受到刘少奇、周恩来等党和国家领导人的亲切接见。1989年，中共中央政治局委员、国家教委主任李铁映及多位省市领导都曾先后到学校视察工作，这极大地鼓舞了全校干部师生的创业热情。
面对当前市场经济的需求和师范教育发展的新形势，学校领导班子带领全校教职工从学校实际出发，确定了以快速、协调、健康发展为主线，以争创全省一流师范学校为目标，以质量兴校、效益兴校为重点的办学方略。
2007年4月25日，经临沂市政府研究，山东省政府批准，沂水师范学校和费县师范学校一起，正式宣布整体并入临沂师范学院。并校初期两师范学校仍独立运行，待关系理顺后由临沂师范学院统一管理。
2007年6月，沂水师范学校正式并入临沂师范学院，学校正式名称改为“临沂师范学院沂水分校”，但仍保留沂水师范学校的名称，为临沂师范学院下属的半独立学校。
