据说来自南朝刘宋王休仁的点子。王休仁创制乌纱帽，并没有什麼了不得的原因，纯粹是赶时髦，想做顶和别人不一样的帽子来戴戴。他将一块黑色的纱布，四边抽扎起，中国第一顶乌纱帽於焉诞生。
王休仁戴著自制的小帽在街上走的时候，果引起人们的兴趣与讨论。由於材料便宜，制作简单，式样大方，所以后来有不少人仿制著戴。隋朝的杨坚，也是这种乌纱小帽的爱用者。不过因为杨坚是个皇帝，戴起来意义不同，上行下效的结果，朝廷、民间顿时「黑成一片」，万头钻动，有如黑海。
明朝时候，乌纱帽的命运有了关键性突破。由於官员们特别爱戴乌纱帽，朝廷遂正式将它列为王公百官上朝及处理公务的必要配备。并对规范其制作的样子为：以藤丝或麻编成帽胎，涂上漆后，外裹黑纱。呈前高后低式，两侧各插一翅。
乌纱帽成为官帽之后，老百姓自然不能再戴了。
乌纱帽是古代帽的一种。早期中国，并没有「帽」这样的称呼，《仪礼》称「帽」为「头衣」或「元服」。（元，首也）至於「乌纱帽」一称，则在隋唐时出现，《通典》有云：「隋文帝（杨坚）开皇初，尝著乌纱帽，自朝贵以下至於冗吏，通著入朝。」（杨坚酷爱乌纱帽，由此得证）
王休仁，究竟是不是乌纱帽的原创者呢？好长一段时间，他的确独领风骚。但上世纪七○年代马王堆汉墓开挖后，他便退居老二了！原因是考古人员居然在马王堆三号墓，找到一顶状似泳帽的乌纱帽~~~~~~
在戏剧舞台上，凡是当官的，总要戴一顶“乌纱帽”。其由来是这样的：“乌纱帽”也叫纱帽，其前身是古代男子裹头发用的幞头。北宋初年，有人将幞头改装为一种纱帽，皇帝对此大加称赞，因此便规定朝中官员都要戴这种纱帽，有时皇帝也会佩戴。这种纱帽两旁各有一根细长翅，由于翅有一尺多长，所以走起路来便会上下颤动。为了保护帽翅以免碰掉帽子，官员们都养成了小心翼翼走路的习惯。
到了明朝，官员们仍沿袭宋制戴纱帽，但皇帝已不再戴了。从明世宗时开始，人们将纱帽称之为“乌纱帽”，同时其双翅也做了一些变动：不但翅的长度缩短了，而且其宽窄也不相同；官阶越大，纱帽的双翅越窄，反之亦然。其形状和后世戏台上的乌纱帽基本一样。
清初顺治帝入关时，由于收留了许多明代降臣，而且为了笼络人心，允许不少地方官员仍穿明代朝服，戴明代乌纱帽。等到清室统治巩固，才下令将官员戴的乌纱帽改变为红缨帽。但人们仍习惯使用“乌纱帽”一词，久而久之，“乌纱帽”便成为官位的代称了。时至今日，我们仍将罢官现象称为“丢了乌纱帽”。
