Les ségrégationnistes voulaient destituer Earl Warren parce que, grâce à son leadership à la Cour suprême des États-Unis, la ségrégation des écoles publiques a été déclarée inconstitutionnelle dans une décision unanime. Cela a conduit à une législation qui a également interdit la ségrégation dans d'autres domaines.
Le premier cas que Warren a considéré comme un juge de la Cour suprême était Brown v. Board of Education en 1954. Attendant son heure jusqu'à ce que sa nomination soit confirmée par le Sénat, Warren a encouragé les juges à trouver un terrain d'entente sur la question. En fin de compte, il les a persuadés de parvenir à un consensus en affirmant que la seule façon de maintenir la ségrégation était de croire à l'infériorité inhérente des Noirs, et que seule l'unanimité de la Cour suprême surmonterait la forte résistance à la déségrégation dans les États du sud. Les ségrégationnistes qui se sont opposés à la décision ont lancé le mouvement "Impeach Earl Warren" parce qu'ils le percevaient à juste titre comme la force décisive derrière l'union de la cour dans la décision.
La décision Brown v. Board of Education a exacerbé les troubles des droits civiques dans les années 1950 et 1960. Cependant, cela a également incité d'autres lois sur les droits civiques telles que la loi sur les droits civils de 1964, qui interdisait la discrimination et garantissait à tous les citoyens une protection égale, et la loi sur les droits de vote de 1965, qui interdisait la discrimination des électeurs.