在世界，义务教育，最初起源于16世纪欧洲宗教改革运动中，推行新教的国家。这些国家把教育作为争取青年、弘扬新教派、对抗旧教势力的重要手段，强迫儿童入学学习读、写、算和宗教知识，于是义务教育兴起。
"世界上最早的义务教育法令是1619年德国魏玛公国公布的学校法令。它规定父母应送其6－12岁的子女入学，否则，政府强迫其履行义务。虽然这个法令制定的目的是教化国民，但它却是义务教育的开端。"
中国义务教育制度的拟议和提出，起源于20世纪之初。在清朝末期，当我国处于废科举、兴学堂、建立新学制时期，欧美各国以及亚洲的日本大都普遍实行了义务教育。清政府某些官员了解到这一情况后，便在20世纪初草拟清廷有关文件时使用了"义务教育"、"强迫教育"这样的词语。1900年，由管学大臣张百熙拟定的清朝《钦定学堂章程》（旧称"壬寅学制"），就体现了义务教育的思想，它规定："儿童自6岁起受蒙学4年，10岁入寻常小学堂修业3年。埃各处学堂一律办齐后，无论何色人等皆应受此7年教育，然后听其任为各项事业。"1904年，清政府颁布了《奏定学堂章程》（旧称"努卯学制"）。在《奏定学堂章程》的《奏定初等小学章程》中进一步写明："外国通例，初等小学堂，全国人民均应入学，名为强迫教育；除废疾、有事故外，不人学者罪其家长。"在《奏定学堂章程》的《学务纲要》中还明确写道："初等小学堂为养正始基，各国均住为国家之义务教育。东西各国政令，凡小儿及就学之年而不入小学者，罪其父母，名为强迫教育。盖深知立国之本全在于此。"
新中国成立之后国家实行的是普及教育，“义务教育”和“普及教育”是两个内容不同的概念，义务教育的显著特点具有以法律予以保障的强制性和普遍性。尽管如此，到1965年，全国学龄儿童为11603.2万人，入学儿童为9829.1万人，学龄儿童入学率已达到84.7%。此时的普及教育是由政府负担其经费的绝大部分，只是向学生收取数量很少的杂费和书本费。
1986年我国颁布了《中华人民共和国义务教育法》。这是我国首次把免费的义务教育用法律的形式固定下来，也就是说适龄的“儿童和少年”必须接受9年的义务教育。
