铅笔芯不含铅，其主要成分是石墨。
由於铅在岩石或墙壁上书写时，会有黑色痕迹，因此在古希腊及罗马时代，人们使用铅作为绘图及写字工具。中国古时，书写於绢帛及纸上，若有错误，则以铅粉涂改，所以古文中确有「铅笔」一词，但与现代的铅笔不同。
十五世纪时，石墨矿被发现，当时的人并不知道石墨的成分，就称石墨为「黑铅(blacklead)。大约在1492年，英国开始有人使用石墨制成的笔，就称为铅笔。一直到1779年，科学家才知道石墨是碳的一种形式。」 由石墨研磨成粉后，与黏土混合，再灌入两片半圆型的木管中制成，近年也有塑胶制的笔杆上市。