Надо полагать, что самым первым прототипом карандаша была головешка от костра – ими рисовали уже давным-давно наскальные рисунки. Греки и римляне пользовались заостренными палочками.
Графитные карандаши известны с XVI века. Английские пастухи из местности Камберленд нашли в земле темную массу, которой они воспользовались, чтобы метить овец. Они давно замечали, что шерсть их овец становится черной, если они трутся о местные скалы. Когда об этом заявили местным ученым, они решили, что в Камберленде на поверхность выходят залежи свинца либо «черного камня». Местные жители моментально забросили овец и стали делать принадлежности для письма, которые так и назвали «черными камнями», черный – это «кара», а камень – «даш». Сначала производили из графита тонкие заостренные на конце палочки и использовали их для рисования. Эти палочки были мягкими, пачкали руки и подходили только для рисования, но не для письма.
Первый документ, в котором упоминается деревянный карандаш, датирован 1683 годом. В Германии производство графитных карандашей началось в Нюрнберге. Немцы, смешивая графит с серой и клеем, получили стержень не такого высокого качества, но по более низкой цене.
Шестигранный корпус карандаша предложил в конце XIX века граф Лотар фон Фаберкастл, заметив, что карандаши круглого сечения часто скатываются с наклонных поверхностей для письма.
Появлению механического карандаша надо благодарить американца Алонсо Таунсенда Кросса. Он заметил, что почти 2/3 материала, составляющего простой карандаш, уходит в отходы при его заточке. Это и натолкнуло его на создание в 1869 году металлического карандаша. Графитный стержень размещался в металлической трубке и мог по необходимости выдвигаться на соответствующую длину.