历史沿革民国时期并无源芳乡名的存在，除现在的万金台村、芳田村、幸川村的蜈蚣坑、火烽尖组外同现在东临溪镇的派田、四堂等地为一个保，解放后为属临溪管辖，为一个大队，设梓源村、临源村、派芳村，51年划分乡时取的临源村（现名盈丰村）、梓源的源字合派芳村芳字为源芳的乡名，设立源芳乡人民政府，所在地建在幸川村的幸川组，辖派芳村、梓源村、临源村三个村，55年将原属郑湾管辖的芳田村、蜈蚣坑、火烽尖村民组划至源芳乡增加一个村行政村,二个自然村，1956年改为源芳人民公社，下设盈丰社、联芳社、梓源社等三个高级社。1958年划入卫星公社（临溪公社），高级社取消设源芳大队，61年恢复源芳人民公社，下设梓源、渔潭、九丘、芳山、幸川、盈丰大队，70年成立源芳公社革委会，83年恢复为源芳乡人民政府，92年并入汊口乡，94年再次恢复源芳乡人民政府，2003年8月将乡政府所在地迁至芳山村，2005年的全县乡镇撤并将原郑湾乡管辖的万金台村划至源芳乡。
产业结构全乡以林茶为主，盛产有机茶、葛粉、竹笋、箬叶、脱毒贡菊等有机食品，改革开放以来农民外出创收的比例正在逐年上升，农业收入的比例有所下降。源芳乡现已查明的矿产资源有萤石矿、花岗石、无毒铅锌矿等，源芳大峡谷及素有“莲花佛国”之称的仰山连成一片，旅游资源丰富。
其他介绍57年建立广播站,从业人员2人,84年文化站建立,从业人员2人,2005年12月农村综合机构改革将文化广播电视站并入乡为民服务中心。
源芳乡中心学校于1956年初办于桐梓山庙内，后搬迁至芳山再到幸川村即现在的地址，设立1968年初中班,于1982年撤消源芳乡初中班,现源芳中心小学有完小1所，初小数5所,2005年在校学生251人，在职教师总数18人。建国以来培养中专以上学生107人，其中获博士学位的二人，芳田村的汪建华就读于美国的哈佛大学。
建国以来源芳乡出兵150人，有三人牺牲于朝鲜战场。
源芳卫生院于1965年建立，现有专业人员二人，卫生院等级暂未评定，全乡乡村个体诊所4个，从业人员4名。
源芳信用社建于1955年，1992年撤区并乡源芳乡交并入汊口乡时，源芳信用社并入汊口信用社，源芳信用社随改为源芳信用分社，2005年将璜尖、白际信用社并入源芳信用分社改为源芳信用社，进行独立核算。至2005年底全乡存款总额1167万元，各项贷款款额351万元。
源芳乡林业站建于1981年，现从业人员2有人。
1977年源芳人民公社在县委的大力支持下主要依靠全乡投工投劳开通汊口至源芳的7公里的四级公路，当年动工当年开通。源芳至白际乡、璜尖乡的公路从源芳境内穿行而过，源芳至屯溪的班车共有 5辆，交通十分便捷。源芳乡的高压电于78年从原汊口乡接入源芳乡的九丘村而后逐步延深至全乡，现年用电量为42万度;源芳乡的程控电话于96年开通，至2005年底终端门数达960门;在市县两级党委政府及有关部门的关心支持下，2002年投资20余万元，建成芳山护岸;投资6万元率先接通原乡政府所在地幸川村的自来水;2003年投资16万元建成幸川护岸;2003年8月实施乡政府搬迁;2003年10月投资15万元,实施幸川到梓源的村道进行拓宽工程;投资12万元建成渔潭水泥桥;2004年在源芳乡的芳山村建成移动、联通基站;2004年建成这坑水泥桥;2005年县移动公司在万金台、芳田村建成两座移动基站;投资50余万元完成对千万金台的农电网改造工程;05年实现梓源村公路黑色化；2005年10月投入8万元，对盈丰村四个村民组的自来水进行全面的改造。
源芳乡于2001年“6.26”突发历史罕见大洪水为，冲毁粮田百亩，房屋2间，从原乡政府住地幸川村至原汊口乡延途的村庄全部被淹，道路毁损数公里，冲毁石桥一座，损失千万元以上。[1]
人口数据（第五次人口普查数据）[2]总人口
4020
男
2100
女
1920
家庭户户数
1272
家庭户总人口(总)
4020
家庭户男
2100
家庭户女
1920
0-14岁(总)
986
0-14岁男
530
0-14岁女
456
15-64岁(总)
2633
15-64岁男
1373
15-64岁女
1260
65岁及以上(总)
401
65岁及以上男
197
65岁及以上女
204
户口本地住在本地
3915
仰山寺的传说仰山寺位于源芳大峡谷源头，原坐落在璜尖乡境内，解放前归歙县管辖，解放后山林权划分时划归源芳乡管辖，仰山寺所在的仰山海拔在１０００余米，有一块１００多亩的平地，在这个高山之上，实属罕见，四周的山坳里，盛出一股股山泉，全部汇集仰山水口，而且常年保持一定的流量，仰山寺遗址的对面有一块常年不干的湿地，南方少见的芦苇在仰山就能见到。仰山的天然红花油茶，是黄山市罕见的稀有品种，全市仅休宁县的岭南和源芳乡的仰山才有，每年的春季整树的绽放，红艳艳的十分好看。
仰山寺的四周青山环抱，特别是天然林四季常青，遮天避日，走进林间，阴森森的，给人一种威严的感觉，但其中的林木年代大多非常久远，有相当的商业价值。
仰山寺的建筑形式，我们走访过一些长者，根据他们的回忆，仰山寺共有两个殿，正殿非常象电影《少林寺》中的少林寺，砖木瓦结构，开间有30余米，宽有40余米，正殿的大门坐北朝南，正殿大门的正中顶部悬有一块写有“仰山寺”三个大字的匾额，正殿有前后两进(也有叫上堂下堂)，是典型的古建筑，有四根高大的柱子，前进两根后进两根, 四周靠墙还有很多小柱子,粗壮的冬瓜梁，需要二个人合抱,正殿的顶部基本是一些神奇各异的雕塑, 地面青一色的青石板铺就而成，进入正殿，正中是一个较大的座台,坐着阿弥佛坐笑像，两边分别是十八罗汉和二十四朝天，庙内的一口大钟为青铜铸制，有200多公斤，在1950年仰山寺被焚烧之后，农民将其敲碎作废铁出售；还有一口小钟有5公斤重，是当时所使用的一种法器,现仍在璜尖乡中心小学作为上课铃使用。前后进用隔墙隔开，墙边是三个很高大的雕像,面对大门。隔墙两边留有两条通道,进入二进,靠隔墙正中有一个很大的雕像,靠墙而坐,面对的是一个天井,天井的右边是一个大钟,左边是一个大鼓,再向上是一个香炉,上方是一个案桌,边上有一块空地,供和尚诵经,桌的上方有一排小佛像,数量较多,具体不详,再向上是宝公、济公、志公的塑像, 塑像后有一个佛器储藏室,是一个半截台子,台子的右边有一个很大的站立地藏佛像,左边有一个观音站立像，地藏的边墙上有一个大印板,相当于现在单位的公章，以便于来人回复，还有一些处方，供来治病的人抽签对号取处方。
正殿中间隔墙边有一个通往副殿的门，副殿略小一些，是一个后边两层楼，前边是一个一层的结构，基本是客房，供远道而来的人居住，中间有一个大天井，天井的右上方有一个很大的佛像，正立在客厅之中，边上有一间客房，墙边有两个楼梯，通上副殿的二楼，天井的下方还有一个楼梯，两个客房，和一个法场，再往右是厨房和客厅，内设一个小食堂，抗日战争时期，爱国人仕姚文采（歙县人）、国民党省参议员江彤侯来时供他们使用。（原寺庙已画成简图）
明代大学仕熊开元曾经在仰山隐居,休宁县的博物馆有详细的记载,
仰山寺的门口有一个操场和一个渔塘，操场作为祭祀使用，可容纳5000人，渔塘养一些观赏鱼类。仰山的水口有一个五昌庙，门前的一棵银杏树要两个大人才能合抱过来，后被人砍伐，在通往仰山寺的各个路口，还有一些神像，如王灵官等，但基本上是一两尊佛像而已，给人一种进入佛教圣地的感觉，寺庙的和尚,基本上穿着袈裟,头戴佛字帽,最后的一名和尚法名叫老莫，死后葬于仰山，老莫坟现在已被人作地名使用。从源芳至璜尖道路边（一善亭至仰山沿路）的悬崖石刻上就刻有“仰山法界”“返照”“龙湫”还有一些无法辨认的字。有一个说法,从一善亭到仰山寺共有一百首诗，内涵的是返照两字的释意，谁能解开就是一处宝藏的埋藏地。[3]
