牙签其实是一种重要的口腔卫生用具，它已经有超过2000年的历史了。由于它的体积细小，制作的材料通常是木材或竹子，而且也很容易被化为灰烬，因此它的地位低微，历史上也确实很少留下关于牙签发明的证据。幸而，中国的考古学家发掘出以黄金打制而成的牙签，制作的年代大概在汉末时期。这种黄金牙签虽然属于少数的皇族，而非平常百姓所有的，但依然可证明公元3世纪中国已有牙签了。
一直以来，人们有一种错觉，就是将筷子与牙签同样视为是中国人的发明品。因为一般人以为，中国人一向讲究饮食，在饮食文化发达的中国，既然有人发明了筷子这种实用品，那么与它相关的用品牙签，也理所当然地同时被发明出来。但是事实却并非如此。
其实这种即用即弃的东西是源自印度的，有人认为它可能与佛祖释迦牟尼给弟子们传授卫生有关。牙签与牙刷在早期都被称为“杨枝”，起源于印度。
传说佛祖释迦牟尼向弟子们讲道时，发现围在他四周的弟子们，在开口说话时都有口臭的毛病，于是释迦牟尼给他们另外教授了卫生课。他说：“汝等用树枝刷牙，可除口臭，增加味觉，可得五利也。”释迦牟尼当时在菩提树下弘扬佛法，顺便教导弟子们消除口臭的方法。至今，印度的劳苦大众，在早上仍会以树枝或木片刷牙和剔牙，大概与此传说有关。由此推算，早在二千年前，印度人已经懂得用树枝或木片，当作牙刷来清洁口腔。后来，印度人这种用树枝来消除口臭的秘诀，随着到访的佛教僧人传入了中国。于是，他们就地取材多用杨柳作齿刷工具，因此从印度文翻译成汉语就写成了“杨枝”。现代汉语已经不再用“杨枝”一词，而只有日本仍是源用这个古词。