“胡说”一词始于东晋之后，当时，鲜卑、匈奴、羯、氏、羌先后统治中原地区（人称这一时期为“五胡乱中华”）。胡人即我国边远地区的少数民族，尽管文化较为落后，但军事力量很强。因西晋王朝腐朽，被他们打进中原，并赶走西晋统治者。“胡人”主宰中原，给中原地区带来了很大的混乱。由于以前汉族统治者说话、办事完全依孔子的学说作根据，非礼勿言，非礼勿行；而胡人却不来这一套，完全按自己的意愿行事，他们说话、办事是没有任何礼法为根据。因而，汉人把乱说和没有根据的说话，称之为“胡说”；这样，把乱闹、没有原则的闹事叫做“胡闹”。
“五胡乱中华”也叫“五胡闹中华”。在“乱”字之前加上一个“胡”字，称为“胡乱”。“胡乱”者，胡人之乱也；“胡说”者，胡人之说也。后来人们用“胡说”来泛指没有根据的言论。
但有趣的是，上世纪二三十年代，胡适先生举行一次演讲。胡适在黑板上写下“孔子‘孔说’”“孟子‘孟说’”之后，又写了“胡适之 ‘胡说’”；逗得会场听众大笑。
