山伟，字仲才，河南洛阳人也。其先代人。祖强，美容貌，身长八尺五寸，工骑射，弯弓五石。为奏事中散，从显祖猎方山，有两狐起于御前，诏强射之，百步内二狐俱获。位内行长。父稚之，营陵令。伟随父之县，遂师事县人王惠，涉猎文史。稚之位金明太守。
肃宗初，元匡为御史中尉，以伟兼侍御史。入台五日，便遇正会。伟司神武门，其妻从叔为羽林队主，挝直长于殿门，伟即劾奏。匡善之，俄然奏正。帖国子助教，迁员外郎、廷尉评。
时天下无事，进仕路难，代迁之人，多不沾预。及六镇、陇西二方起逆，领军元义欲用代来寒人为传诏以慰悦之，而牧守子孙投状求者百余人。又欲杜之，因奏立勋附队，令各依资出身。自是北人悉被收叙。伟遂奏记，赞义德美。义素不识伟，访侍中安丰王延明、黄门郎元顺，顺等因是称荐之。义令仆射元钦引伟兼尚书二千石郎，后正名士郎。修《起居注》。仆射元顺领选，表荐为谏议大夫。
尔朱荣之害朝士，伟时守直，故免祸。及庄帝入宫，仍除伟给事黄门侍郎。先是，伟与仪曹郎袁升、屯田郎李延孝、外兵郎李奂、三公郎王延业方驾而行，伟少居后。路逢一尼，望之叹曰："此辈缘业，同日而死。"谓伟曰："君方近天子，当作好官。"而升等四人，皆于河阴遇害，果如其言。俄领著作郎。前废帝立，除安东将军、秘书监，仍著作。初，尔朱兆之入洛，官守奔散，国史典书高法显密埋史书，故不遗落。伟自以为功，诉求爵赏。伟挟附世隆，遂封东阿县伯，而法显止获男爵。伟寻进侍中。孝静初，除卫大将军、中书令，监起居。后以本官复领著作，卒官。赠骠骑将军、开府仪同三司、都督、幽州刺史，谥曰文贞公。
国史自邓渊、崔琛、崔浩、高允、李彪、崔光以还，诸人相继撰录。綦俊及伟等谄说上党王天穆及尔朱世隆，以为国书正应代人修缉，不宜委之余人，是以俊、伟等更主大籍。守旧而已，初无述著。故自崔鸿死后，迄终伟身，二十许载，时事荡然，万不记一，后人执笔，无所凭据。史之遗阙，伟之由也。外示沉厚，内实矫竞。与綦俊少甚相得，晚以名位之间，遂若水火。与宇文忠之之徒代人为党，时贤畏恶之。而爱尚文史，老而弥笃。伟弟少亡，伟抚寡训孤，同居二十余载，恩义甚笃。不营产业，身亡之后，卖宅营葬，妻子不免飘泊，士友叹愍之。长子昂，袭爵。
