1962年生；1983年毕业于安徽大学哲学系；1984年至1985年任绩溪县委党校教员；1985年至1987年为徽州地委教师团理论干事，期间的1986年3月至1987年3月曾作为原徽州地委扶贫干部在歙县金川乡担任过一年的乡干部；1987年破格晋升中级职称；1988年至1995年任黄山市社科联秘书长兼《徽州社会科学》主编，期间的1991年下半年至1992年上半年曾作为黄山市委工作组的成员在休宁县兰渡乡典口村担任过驻村干部；1995年至2000年6月任黄山市社科联副主席（副县级）兼《徽州社会科学》主编；2000年6月调安徽大学徽学研究中心工作，同年底评为哲学系列副研究员，担任大型徽学辑刊《徽学》副主编暨责任编辑；2001年担任硕士研究生导师；2003年3月当选为安徽省徽学会副秘书长兼《徽学丛刊》主编等。
刘伯山曾是政协黄山市一届、二届委员会委员，三届委员会常委兼文史委副主任；是七届安徽省青年联合会常委；1993年荣获全省优秀教育工作者称号，1998年荣获安徽省优秀理论工作者称号；2003年1月黄山市政协换届，又再次荣任第四届黄山市政协委员和文史委委员。目前还兼任安徽省收藏家协会艺术顾问、黄山市徽州文化研究院常务副院长兼《徽州文化研究》辑刊主编、新安朱子研究会副会长等职。
刘伯山目前共发表文章百余篇，其学术研究主要分为两个阶段，跨哲学和徽学两个领域。
刘伯山的哲学研究主要是在1996年以前，曾在《学术月刊》、《文史哲》、《求索》、《江淮论坛》等刊物发表《宇宙概念的层次结构及其界限》、《关于宇宙空间无限性形式的哲学探讨》、《现代宇宙学与马克思主义哲学》、《略论感性真理》、《关于认识过程阶段的划分》、《论概念、判断、推理是知性认识的思维形式》等哲学论文近30篇，参加编写了《马克思主义理论与实践》大学教材。
刘伯山的徽学研究开始于20世纪90年代，2000年以后专门从事，目前已经在《新华文摘》、《光明日报》、《人民论坛》、《历史档案》、《安徽大学学报》、《探索与争鸣》、《徽学》、《安东学研究》等报刊发表《徽州文化研究的学术价值》、《徽州文书的留存及抢救》、《徽州文书的遗存及特点》、《徽州文化的基本概念及历史地位》、《“伯山书屋”一期所藏徽州文书的分类及初步研究》、《程朱理学渊源考》、《徽州篁墩的三大姓及其文化遗存》、《徽商的儒商本质及其在竞争中的优势》、《徽州文化遗存保护开发的经验与问题——作为安东地区文化遗存保护与开发的借鉴》等论文70余篇；主编或参与主编、编著《黄山旅游文化大辞典》、《徽州文化研究》、《徽学研究论文集（一）》等学术专著7部。
刘伯山的《关于认识过程阶段的划分》论文1986年获全国中青年哲学工作者最新成果奖；《崛起的徽州文化学——关于文化学研究的一点意见》论文获安徽省第二届社科优秀成果三等奖；《略论感性真理》论文获安徽省社科成果四等奖。
刘伯山曾先后参与发起、组织徽学学术会议30余次，其中，国际性的4次，有“首届国际徽学学术讨论会”（1994年11月）、“第二届国际徽学学术讨论会” （1995年8月）、“国际朱子学学术讨论会” （1997年10月）等；全国性的近20次，有“大陆首届胡适学术讨论会”（1991年11月）、“元明清文学与徽州学研讨会”（1993年8月）、“首届全国徽学学术讨论会暨徽学研究与黄山建设关系讨论会”（1993年10月）等。
刘伯山还注意抢救和收集徽州文书，2001年5月19日将其2000年10月以前在徽州民间收集的1万1千余份徽州文书料悉数捐献给安徽大学，为此安徽大学徽学研究中心设“伯山书屋”以藏之。
