Penggunaan timbal dan grafit sudah dimulai sejak zaman Yunani. Keduanya memberikan efek goresan abu-abu, walaupun grafit sedikit lebih hitam. Grafit sangat jarang dipakai hingga kemudian pada tahun 1564 ditemukan kandungan grafit murni dalam jumlah besar di Borrowdale, sebuah lembah di Lake District, Inggris bagian utara. Meskipun kelihatan seperti batu bara, mineral tersebut tidak dapat terbakar, dan meninggalkan bekas berwarna hitam mengilap, serta mudah dihapus di atas permukaan yang bisa ditulisi. Pada masa ini istilah grafit masih disalahartikan dengan timah, timah hitam, dan plumbago, artinya "seperti timah" mengingat sifatnya yang hampir sama. Karena itu istilah lead pencil(pensil timah) masih digunakan sampai sekarang. Karena teksturnya berminyak, bongkahan dibungkus dengan kulit domba atau potongan kecil timah berbentuktongkat dibebat dengan tali. Tidak seorang pun tahu siapa yang mula-mula mempunyai ide untuk memasukkan timah hitam ke dalam wadah kayu, tetapi pada tahun 1560-an, pensil yang primitif sudah sampai di benua Eropa.

Tak lama kemudian, timah hitam ditambang dan diekspor untuk memenuhi permintaan para seniman; dan pada abad ke-17, bisa dikatakan timah hitam telah digunakan di mana-mana. Pada waktu yang sama, para pembuat pensil bereksperimen dengan timah hitam untuk menghasilkan alat tulis yang lebih baik. Karena murni serta mudah diekstrak, timah hitam dari Borrowdale menjadi incaran pencuri dan pedagang gelap. Untuk mengatasinya, Parlemen Inggris mengeluarkan undang-undang pada tahun 1752 yang menetapkan bahwa pencuri timah hitam bisa dipenjarakan atau dibuang ke suatu koloni narapidana.

Namun pada tahun 1779, seorang ahli kimia Carl W. Scheele meneliti dan menyimpulkan bahwa grafit memiliki sifat kimiawi yang jauh berbeda dengan timbal. Grafit adalah komposisi molekul karbon murni yang lunak. Akhirnya pada tahun 1789, ahli Geologi Jerman, Abraham G. Werner memberikan nama grafit, yang berasal dari perkataan Yunani graphein, yang berarti menulis. Jadi, isi pensil bukan timah.

Selama bertahun-tahun, grafit Inggris memonopoli industri pembuatan pensil karena cukup murni untuk digunakan tanpa perlu diproses lagi. Karena grafit Eropa kurang bermutu, pabrik-pabrik pensil di sana bereksperimen dengan berbagai cara untuk memperbaiki isi pensil. Insinyur Prancis Nicolas-Jacques Conté mencampur bubuk grafit dengan tanah liat, membentuk campuran itu menjadi batang-batang, dan membakarnya dalam perapian. Dengan mengubah-ubah perbandingan grafit terhadap tanah liat, ia bisa membuat isi pensil yang menghasilkan berbagai gradasi warna hitam proses yang digunakan sampai sekarang.

Pada abad ke-19, pembuatan pensil menjadi bisnis besar. Grafit ditemukan di beberapa tempat, termasuk Siberia, Jerman, dan yang sekarang disebut Republik Ceko. Di Jerman dan kemudian di Amerika Serikat, sejumlah pabrik dibuka. Mekanisasi dan produksi massal menekan harga, dan pada awal abad ke-20, bahkan anak-anak sekolah menggunakan pensil.

Awalnya pensil grafit diberi balutan kertas yang dirobek sesuai keinginan pemakainya. Namun kemudian ditemukan cara lebih praktis dan efisien dengan menyelimuti seluruh batang grafit dengan dua bilah kayu yang ditoreh untuk menyediakan tempat bagi batang grafit dan kemudian disatukan.

Grafit murni mungkin lebih disukai seniman karena karakteristiknya yang lebih lugas. Namun untuk penggunaan sehari-hari, diperlukan grafit yang berkualitas lebih rendah agar lebih fleksibel. Pada tahun 1795, ahli kimia Perancis, Nicolas Jacques Conté, menemukan cara mencampur grafit dengan tanah liat agar dihasilkan pensil yang lebih baik dan praktis. Salah satu produk turunannya adalah pensil Konte.

Pada 30 Maret 1858 Hymen Lipman dari Philadelphia, Pennsylvania, Amerika Serikat mematenkan pensil dengan ujung penghapus. Namun kemudian paten ini dibatalkan dengan alasan sebanenarnya tidak ada penemuan hal baru dari pensil tersebut. Perautmekanik ditemukan pada tahun 1880 dan dengan cepat menjadi sangat populer.

Pensil di era modern dibuat dengan menghancurkan grafit murni dan tanah liat menjadi bentuk bubuk. Campuran ini kemudian diberi air, dianginkan, dan kemudian dibakar selama tiga hari. Kemudian isi pensil yang telah dicetak menjadi bentuk yang panjang dan tipis dilapisi dengan kayu halus.

Awalnya pensil lebih banyak dibuat dalam bentuk persegi karena keterbatasan mesin produksi. Namun di era modern, lebih banyak ditemui bentuk bulat yang lebih nyaman digenggam. Meskipun demikian, tetap banyak yang menggemari bentuk pensil bersudut karena memberi pegangan yang lebih kuat dan mudah dikontrol saat menulis.

Berbeda dengan pena, pensil cenderung memberikan kesan abu-abu dan warna yang lemah dan pecah dibandingan dengan pena yang memberikan warna yang padat dan tajam. Pensil juga lebih mudah dihapus dibandingkan pena.

Beberapa pensil disertai dengan penghapus untuk alasan kepraktisan. Pensil seperti ini sangat disukai pelajar. Namun kebanyakan seniman profesional yang mengutamakan mutu akan lebih menyukai pensil tanpa penghapus, mengingat penghapus ini diragukan mutunya dan frekuensi menghapus yang lebih besar akan membuat penghapus yang terlalu kecil akan cepat terbuang sia-sia.

Pensil dibedakan menurut komposisi . Huruf B menginformasikan ketebalan (boldness), yang berarti kandungan grafitnya lebih banyak. Sementara huruf H menginformasikan kekerasan komposisi leadnya, yang berarti kandungan tanah liatnya lebih banyak. Pensil dengan tanda F berarti komposisinya sangat tepat untuk diraut hingga keruncingan maksimal. Sementara angka di depan huruf memperlihatkan tingkat ketebalan atau kekerasan komposisi suatu pensil. Misalnya 2H akan lebih keras daripada H, atau 2B akan lebih lembut dan tebal dibandingkan B. HB berarti pensil memiliki kedua sifat keras dan tebal.

Warna pensil memperlihatkan area produksinya. Pabrik-pabrik di Amerika Utara memberi warna kuning, Jerman dan Brasil memberi warna hijau. India dan beberapa wilayah Asia memberi warna hitam dan merah. Swiss memberi warna merah. Sedangkan Inggris memberi warna kuning dan hitam. Kebanyakan standardisasi warna ini diciptakan produsen Faber-Castell. Namun banyak pula produsen yang tidak mengikuti standar ini.

Banyak sekali pengguna pensil yang tertipu dengan istilah lead pencil dan mengira bahwa jenis pensil ini mengandung bahan kimia beracun. Sebenarnya pensil timbal hanya mengandung grafit dan tanah liat, bahan alami persenyawaan karbon yang sama sekali tidak berbahaya bagi tubuh.

Namun dilaporkan beberapa kasus bekas tusukan pensil timbal terhadap kulit menyebabkan bekas kehitaman yang menetap bertahun-tahun.

Kemajuan teknologi material dan manufaktur membuat banyak jenis pensil yang bisa ditemui di pasar sesuai kegunaan masing-masing. Di antaranya adalah:

• Pensil timah
  
• Pensil grafit murni
  
• Pensil mekanik
  
• Pensil warna
  
• Konte
  
• Pastel dalam bentuk pensil
  
• Dermatograf
  

Pensil sekarang adalah alat tuilis dan gambar yang canggih sekaligus serbaguna, yang setiap tahun diproduksi di seluruh dunia hingga milliaran batang. Pensil biasa dapat membuat garis sepanjang 60 kilometer dan menulis 45.000 kata. Isi pensil mekanis, yang tangkainya dari logam atau plastik, tidak perlu diraut. Sebagai ganti grafit, pensil berwarna berisi bahan pewarna dan pigmen dalam puluhan warna.