乐少华1904年出生在镇海一个普通农民家庭，原名乐魁光。由于家境贫寒，他只读了几年私塾就到上海谋生，在一家五金厂做工。在上海，他既学技术又学文化。1925年，乐少华在上海参加“五卅”运动，任上海市区机器工会宣传委员，从事工人运动，并加入了中国共产党，1926年秋至1927年3月，他参加了上海工人第三次武装起义，任上海金属总工会宣传委员。1927年春，党组织派他到莫斯科中山大学学习，在此期间，他成了有名的“二十八个半”布尔什维克之一。
1931年春天，乐少华回到了上海，在中共中央秘密机关工作。1932年3月被派往江西中央苏区，参加中国工农红军，任军委直属队党总支书记，同年5月改任红五军团第十五军副政治委员。同年秋，乐少华出任红三军团七军政治委员，率部参加中央苏区第四次反“围剿”作战，正式成为红军高级将领。1933年6月全军整编，他担任红三军团五师政治委员。
根据党中央指示，红三军团四、五两个师组成东方军，执行收复闽西连城、新泉苏区和开辟闽北新苏区的任务。1933年9月18日，红五师在师长寻淮洲、政委乐少华的率领下，以一个团的兵力全歼国民党十九路军精锐“铁军团”第六十一师一六六团，并击溃敌两个营的增援，创造了一个战争奇迹。同年11月，乐少华升任红七军团政治委员。1934年1月，在瑞金召开的中华苏维埃第二次全国代表大会上，乐少华被选为中央执行委员会委员。
在红军长征之前，中共中央曾派出3支部队先行突围远征，红七军团组成的中国工农红军北上抗日先遣队就是其中之一。1934年7月，中央军委最高“三人团”李德、周恩来、博古召见了红七军团领导寻淮洲、乐少华和粟裕（军团参谋长），命令以红七军团组成抗日先遣队，部署经福建、浙江、江西最终挺进皖南的任务。
1934年7月7日，乐少华和寻淮洲等人率领6000人的抗日先遣队，从瑞金出发，东出福建，沿途散发抗日宣传资料，发动民众，推动抗日民族运动。在军事上则一路攻城，兵临福州城下，给反动政府以巨大的震动。但李德主持的中央军委在军事上“左倾”冒险，命令部队强攻福州。由于当时部队长期运动作战，攻城准备不足，攻城未果。抗日先遣队转而向闽东、闽北挺进，相继转战闽、浙、皖等国民党心脏地带，曾一度攻占罗源、穆阳、庆元、清湖、常山等县城，并宣传我党的主张，扩大了红军和共产党的影响。
1934年11月，抗日先遣队转入由方志敏领导的闽浙赣革命根据地，与红十军会合，奉命编为第十军团，军团长为刘畴西，乐少华任政治委员，粟裕为参谋长。红十军团下设3个师共约1万余人，继续担负抗日先遣队的任务。之后，抗日先遣队以原红七军团主力师整编的第十九师，在刘畴西、乐少华、方志敏率领下进入浙江开化、遂安等地活动，创建了皖浙边新苏区。同年12月14日，部队在皖南战斗中失利，乐少华、刘英受伤，十九师师长寻淮洲牺牲。
1935年1月，抗日先遣队向闽浙赣根据地转移时，在江西德兴县遭敌伏击，被截为两段。先头部队千余人（包括受伤的乐少华）在粟裕的指挥下，突破封锁进入根据地。主力2000余人被敌人20个团的优势兵力合围在怀玉山区，经过七昼夜顽强战斗，指战员大部分牺牲，方志敏、刘畴西被捕，后来英勇就义。乐少华回到根据地后不久，因伤势严重被秘密转送到上海治疗。抗日先遣队余部在粟裕、刘英领导下组成红军挺进师，开展起艰苦的游击战争。
1936年8月，伤愈后的乐少华调到陕北保安，任军委直属政治处主任。1937年1月，他进入红军大学第二期学习，后任中央组织部干部科副科长，在陈云、李富春的领导下工作。1942年任陕甘宁边区兵工厂厂长，从此走上领导我军军工工业的岗位，成为我军早期军工工业的主要领导人。
抗战胜利后，根据中央关于建立巩固东北根据地的指示，我党我军一批高级干部和高级指挥员如陈云、高岗、李富春、罗荣桓等来到东北，乐少华也是其中之一。1946年9月，乐少华来到鸡西，任鸡西军工办事处主任，负责东北的军工生产。1950年，他任东北工业部副部长兼军工局局长，领导下属的八一、五二等大型军工企业，研制新的武器装备，生产各种枪支、火炮、弹药支援志愿军的抗美援朝战争。其中八一厂成功研制生产了90毫米反坦克火箭弹，在朝鲜战场上发挥了重要作用。
由于在“三反”运动中受到错误批判，1952年1月15日，乐少华在寓所自杀身亡。1980年5月30日，中央对乐少华问题进行重新审查，决定恢复名誉，平反昭雪。
乐少华之妻浦代英，为中国社会主义改革开放和现代化建设的总设计师邓小平同志之妻卓琳（浦琼英）的姐姐。
