Le carbone a été découvert pour la première fois à l'époque préhistorique sous forme de charbon de bois. Il a été reconnu comme un élément au 17ème siècle, après que Robert Boyle ait classé un élément comme une substance qui ne pouvait pas être décomposée en substances plus simples.
Le carbone a été nommé par le scientifique français Antoine Lavoisier car il a réalisé diverses expériences pour révéler ses propriétés. Dans l'une de ses expériences, Lavoisier a utilisé une loupe pour focaliser les rayons du soleil sur un diamant et a vu le diamant brûler et disparaître. Il a remarqué que le diamant combiné à de l'oxygène pour former du dioxyde de carbone l'a amené à conclure que le diamant et le charbon de bois étaient tous deux fabriqués à partir de carbone.
En 1770, Carl Wilhelm Scheele montra que le graphite brûlait également pour former du dioxyde de carbone et découvrit ainsi une autre forme de carbone. Une autre forme de carbone, le fullerène, a été découverte en 1985 par Robert Curl, Harry Kroto et Richard Smalley. Le fullerène était également appelé « buckminsterfullerene », car ses molécules ressemblaient aux dômes géodésiques conçus par l'architecte Buckminster Fuller pour l'exposition universelle de 1967. La forme de carbone la plus récemment découverte est le graphène, qui consiste en une seule couche d'atomes de carbone disposés en hexagones. Le graphène a été découvert en 2004 par Kostya Novoselov et Andre Geim, qui ont utilisé du ruban adhésif pour détacher une seule couche d'atomes du graphite afin de produire cette forme de carbone.