卫飒，字子产，河内脩武人也。家贫好学问，随师无粮，常佣以自给。王莽时，仕郡历州宰。
建武二年，辟大司徒邓禹府。举能案剧，除侍御史，襄城令。政有名迹，迁桂阳太守。郡与交州接境，颇染其俗，不知礼则。飒下车，修庠序之教，设婚姻之礼。期年间，邦俗从化。
先是，含洭、浈阳，曲江三县，越之故地，武帝平之，内属桂阳。民居深山，滨溪谷，习其风土，不出田租。去郡远者，或且千里。吏事往来，辄发民乘船，名曰“传役”。每一吏出，徭及数家，百姓苦之。飒乃凿山通道五百余里，列亭传，置邮驿。于是役省劳息，奸吏杜绝。流民稍还，渐成聚邑，使输租赋，同之平民。又耒阳县出铁石，佗郡民庶常依因聚会，私为冶铸，遂招来亡命，多致奸盗。飒乃上起铁官，罢斥私铸，岁所增入五百余万。飒理恤民事，居官如家，其所施政，莫不合于物宜。视事十年，郡内清理。
二十五年，征还。光武欲以为少府，会飒被疾，不能拜起，敕以桂阳太守归家，须后诏书。居二岁，载病诣阙，自陈困笃，乃收印绶，赐钱十万，后卒于家。
南阳茨充代飒为桂阳。亦善其政，教民种殖桑柘麻B076之属，劝令养蚕织履，民得利益焉。