次级劳动力市场的说法最早见于二元制劳动力市场分割理论。20世纪60年代末、70年代初，Lester C.Thurow，P. B. Doeringer，M. J. Piore等人在原有的理论基础上提出了二元劳动力市场分割理论。该理论认为，劳动力市场存在主要劳动力市场与次要劳动力市场的分割；在主要劳动力市场中，劳动者收入高，工作稳定，工作条件好，培训机会多，有良好的晋升机制；而次级劳动力市场则与之相反，劳动者收入低、工作不稳定、工作条件差、培训机会少，缺乏晋升机制。
对于主要劳动力市场的劳动者而言，培训教育能提高其收入，而对次级劳动力市场的劳动者而言，教育培训对他们收入的提高没有作用；并且，主要劳动力市场和次级劳动力市场问的流动较少。Thurow等人的二元劳动力市场分割理论提出后，许多国家的研究者纷纷对本国的劳动力市场进行了实证检验，结果表明，二元劳动力市场分割的现象在许多国家都不同程度的存在。
城市的二元社会，首先就是二元的劳动力市场——“次级劳动力市场”和“初级劳动力市场”；生活世界也是二元的，城市中的一部分人，以次级市场当中的劳动力收入作为生活费用的这批人，没有办法承担城市中的生活费用。次级劳动力市场价格受城乡之间巨大的二元结构差距的影响，所以可以将次级劳动力市场的价格拉低，但是全球化的过程又可以将初级劳动力市场的价格拉高，这样就导致了城市内部劳动力市场价格的巨大差别。
城市二元结构的结果，就是劳动力市场的二元结构，还有就是生活世界的二元结构。这种二元结构使中国出现三种人，一是在初级劳动力市场就业的人，得到收入，承担城市费用；二是次级劳动力市场的农民工，不承担城市的费用，大体均衡。最糟糕的是从城市的次级劳动力市场获得收入，但是同时还要承担城市的生活费用。
我国次级劳动力市场的劳动者主要是由城镇下岗职工和从农村迁徙出来的进城务工人员构成，其中以被人们称为“农民工”的进城务工人员为主。次级劳动力市场的存在为城市第二、第三产业的发展提供了源源不断的低成本劳动力，满足了工业化进程对劳动力的需求。尤其是农村进城务工人员的大量进入，更是填补了制造业、建筑业、服务业等岗位的空缺，使城市在激烈的市场竞争中保持整体的竞争力，同时也为我国发展出口贸易，承接国际劳动密集型产业转移创造了条件。可以说，次级劳动力市场的存在为我国工业化发展做出了重要的贡献。但同国外次级劳动力市场一样，我国次级劳动力市场同时也存在着许多不容忽视的问题，例如制度的不完善、社会保障体系不健全、工人集体议价能力低下等。这些问题若不能及时得到解决，必将影响到我国经济长期、稳定的发展。
