吴与字可权，又因官奉议郎称吴奉议。福建云霄人。父早逝，母王孺人。王氏知书达理，教子慎严，吴与从小进梁山书堂读书，刻苦学习，宋元丰五年(1082年)登科进士。初为四会县令，后改任余干县令，勤于政事，决讼明察，受时人称赞。
嗣后吴与迁任怀安县令，其母侍居官舍，不改勤劳织纫。吴与为使母赏心悦目，在署里亭宇边种花果供观赏，还逗乐母曰：“我少壮以治有何不乐?”母答：“公事之外更复读，为何花功夫为母?”戒与移孝以国君政事为重，勤公洁，慎以无贪，戒骄躁、怠懈，以免使母耻辱。为官所至皆保持勤政清廉。后官至奉议郎，任潮州通判。大观四年(1110年)，故友张天觉拜相，掌握朝政大权，有人劝他拜见张天觉以求提携，他却说：我过去与天觉故友皆为忠义相交，哪能趁他当权呈身求进呢?
吴与一生官历七任，勤俭节用，薪俸悉数用于购买和收集书籍的费用，并选择以山峦为屏障，在古道近处偏僻幽静，尤为少有兵火之灾殃及的梁岳下建一书室，藏书供后人阅读，后称吴奉议书室。收藏书籍至2万多卷，有经、史、子和星、历、医、卜等，其中《古尚书音全集》2卷、《甘氏星经》2卷、《汉官典义》10卷、《京房易钞》1卷，俱皇家“三馆四库”所无，被誉为“海内藏书者四家，以吴与所藏本最善”，不少名士慕名徒步而来。宋著名史学家、莆田人郑樵，也赞叹其藏书之多。
吴与为文求实，凡其所书记史皆为可信，著作有《荔枝总录》、《新记录》、《漳州图经序》。其中《漳州图经序》言简意赅，记载始置古漳州的方位、境域的变化，彪炳唐将军陈元光等历史人物，是研究闽南历史的珍贵资料。
