1927年初，台湾文化协会左右分裂，左派青年掌控文协，文协旧干部蒋渭水、蔡培火等人退出文协，另外组织政治团体，于1927年7月10日成立台湾民众党，是台湾人历史上第一个具有现代性质的政党。
1921年到1926年的6年之间，台湾文化协会的文化启蒙运动确实轰动全台湾，使台湾民众有机会吸收新文化、新思想，也加深了台湾人的民族意识。不过，文化协会也因为新思想的蓬勃，有一批青年愈走愈激进（左倾），使得地主阶级的老干部如林献堂、蔡培火等人，开始难以适应，终于导致文化协会的分裂。
回到1920年代，社会主义、马列思想像一朵朵盛开的玫瑰，在俄国革命成功之后的世界花圃绽放，相当夺目动人。当时的青年，好像不「言必称社会主义」，就算不得是一位进步的青年。台湾文化协会就在这种左倾风潮中，面临分裂的局面。
1926年以后，文协内部大致分成3派：一派是保守的右派，以蔡培火、林献堂为首，坚持文协是启蒙运动、文化运动，以知识教化为路线；一派是激进的左派，以连温卿、王敏川为代表，这批「无产青年」高唱农工阶级运动；另外则是中间派的蒋渭水，标榜全民运动，综合各阶层励行全民族的解放运动。
1927年（日本昭和2年）1月，台湾文化协会的临时理事会及临时大会中，以连温卿、王敏川为首的左派势力，掌握了文协的主导权，前述的保守派与中间派退出文协，文协正式分裂。
文协分裂之前，那些有感於左派势力日盛的旧干部（林献堂、蔡培火、蒋渭水等）即有另组政治结社的打算。1927年2月，蒋渭水提议组「台湾自治会」，但日本政府先发制人，通知林献堂「凡是标榜民族主义的任何政治结社，皆不准设立」，台湾自治会遂被禁止成立。然而，他们不死心，3个月後，他们稍作修正，推出「台政革新会」的纲领，于5月10日筹组完成，由蔡培火准备向日本当局提出申请登记。会员中有人建议，改名叫「台湾民党」，获得会员通过，於是5月29日「台湾民党」终於在台中市召开成立大会。但是5天後，立刻遭日本当局禁止。禁止的理由是，纲领中「期台湾人全体之政治的、经济的、社会的解放」之中的「台湾人全体」及「解放」等用语有「偏狭的民族主义色彩，形同民族自决主义」，有悖於帝国治台方针，妨碍「内台融和」。
民党被禁不得成立，但他们仍再接再厉，努力筹组新的政党，更名为「台湾民众党」，日本当局开出两个条件：一、民族主义的字眼要删去；二、「极端民族主义的蒋渭水」不可参加，如要参加，不可在党中央担任支配大局的角色。为了这些条件，内部发生争执，有人认为宁可组党不成，也不可轻易向日本人妥协，是为「玉碎派」；另外蔡培火等人主张为了完成组党，不妨对日本人让步，是为「瓦全派」，因为要不要让步妥协，造成蒋渭水与蔡培火之间有所芥蒂，有人称之为「南火北水，水火不容」。後来经过折冲，采平衡折衷之计，接受第一条件，修改了比较强烈的有关民族主义的字眼，以谢春木名义提出政治结社申请，日本当局没有再坚持，於是「台湾民众党」终於在有条件之下於1927年7月10日正式成立。他们提出「确立民主政治、建设合理的经济组织、改除不合理的社会制度」三大纲领。这是台湾历史上首度出现的具有现代性质的政党。
在党魁蒋渭水的主导下，台湾民众党初期的运动路线是调和民族运动和阶级运动。民众党成立半年後，在全岛成立15个支部，党员遍布全岛。直到1931年2月18日被解散为止的3年7个月之间，其活动较重要者，例如反对放领官有地组织台湾拓殖会社；反对许可鸦片吸食政策；反对田中内阁侵华政策；反对日人官吏加俸制度；以及对雾社事件的强烈声明与反应。特别是有关鸦片政策及雾社事件的问题，民众党不仅向日政当局提出反对，还通电国际联盟，引起国际注意。国际联盟为了鸦片政策还特地派员来台湾调查，林献堂、蒋渭水於当时的铁路餐厅接待他们，总督府想派员参加却被挡在门外不能进入，使日本当局相当难堪。
台湾民众党不仅从事政治抗争活动，并配合其外围组织「台湾工友总联盟」进行劳工运动。此外，文协时代的文化启蒙运动仍继续进行，对於纠正社会上落伍败坏的风俗，提升民众的生活品质，也相当注意，所以他们在党纲大要「三、改除社会制度之缺陷」中提出「革除社会陋习」。1929年10月17日第三次全国代表大会的口号中，就有「打倒阿片〔鸦片〕、打倒迷信、打倒恶习」。蒋渭水在《台湾民报》中呼吁破除「烧金纸、吸阿片、祈安建醮、补运谢神，以及聘金婚丧之奢靡」的恶习，甚至禁止党员打麻将（台湾称「麻雀」）。当「麻雀飞到台湾」来时，民众党台北支部於大安医院开会，决定禁止党员打麻雀（麻将），并以一副三圆收买焚毁，以「现身说法示范於同胞」。甚至连内容充满中国封建思想的歌仔戏，也受到台湾民众党的反对，民众党第四次大会提出的社会政策中，赫然出现「反对准许歌仔戏之演唱」的条文。相较於今天的反对党人士，为了选票，只知一味讨好民众，动不动就跟著迷信团体进香、绕境，或打著发扬本土文化的美名，进行一些中国封建传统的礼俗，毫无移风易俗、前瞻反省的能力，相形之下，实在不能同日而语。
随著左翼运动的勃兴（新文协、台湾农民组合、台湾共产党等左翼团体大力推动农工运动），台湾民众党的运动路线也因受刺激而日渐阶级运动化，致使内部右翼人士如林献堂、蔡培火、杨肇嘉等退出民众党，另组「台湾地方自治联盟」。而日本当局对於右翼人士退出之後的台湾民众党的左倾迹象，也渐感不安，终於决定出手干预。
1931年2月18日，台湾民众党第四次全体党员大会进行中，台北警察署长突然出现会场，出示「结社禁止命令」，当场声明台湾民众党业已被取缔，命令立刻解散，并同时逮捕蒋渭水等干部16人（翌日释放）。总督府提出禁止台湾民众党的理由指出，「细察民众党向来之行动及这次所修改之纲领政策，其目的在於反对总督政治，宣传阶级斗争。如此妨害日台融和，违背本岛统治大方针之结社，断难容许。」在总督府「妨害安宁秩序」的大帽子下，台湾民众党终於结束了3年又7个月的活动。而蒋渭水也在6个月後的8月5日，因伤寒病逝台北。
