Les premières civilisations connues pour avoir utilisé le carbone étaient les Sumériens et les Égyptiens, qui utilisaient le charbon de bois comme combustible sans fumée et pour la fonte des minerais métalliques. Textes égyptiens et grecs datant de 1500 à 400 av. En 1772, le chimiste français Antoine Lavoisier démontra que les diamants étaient une forme de carbone.
Entre 1779 et 1786, Carl Wilhelm Scheele en Poméranie suédoise, et Berthollet, Monge et Vandermonde en France, ont démontré que le graphite, ou "mine de crayon", était principalement du carbone. Ce n'est qu'en 1789, cependant, que l'élément a été nommé et répertorié comme « carbone » dans un manuel écrit par Lavoisier.
Des formes nouvelles et exotiques de carbone, ou allotropes, ont été introduites à partir de 1985 avec la découverte du buckminsterfullerène, ou C60, et de ses formes associées, notamment les nanotubes et les buckyballs. Cette découverte a valu à ses trois découvreurs, R. Curl, H. Kroto et R. Smalley, le prix Nobel de chimie 1996. La C60 a récemment été considérée comme la plus grosse molécule trouvée dans l'espace extra-atmosphérique et on pense qu'elle est créée dans les étoiles évoluées.
En termes d'abondance, le carbone se classe au quatrième rang dans l'univers. Il se classe 15e dans la catégorie des éléments contenus dans la croûte terrestre. Les allotropes de carbone les plus connus sont le diamant, le graphite et le carbone amorphe, qui comprend la suie et le charbon.