Roy Clark est le fils de deux musiciens amateurs, mais depuis 2015, il n'y a aucune information sur ses parents ou sa famille immédiate en dehors de sa femme. Il a épousé Barbara Joyce Rupard en 1957.
Alors que Roy Clark est né en Virginie, il a grandi à New York, passant la plupart de son temps à Washington, DC Dès son plus jeune âge, il avait une solide formation musicale, et à l'âge de 14 ans, il a commencé à jouer la mandoline, la guitare et le banjo. Grâce à son dévouement à sa musique, il a remporté deux championnats nationaux de banjo. Tout en poursuivant sa carrière musicale, il poursuit également une carrière sportive, s'essayant en tant que joueur de baseball, puis boxeur. Finalement, il a décidé de se concentrer sur ses capacités musicales et il a fait sa première apparition au Grand Ole Opry alors qu'il n'avait que 17 ans.
Au milieu des années 1950, Roy Clark a joué régulièrement dans l'émission télévisée de Jimmy Dean, mais Dean l'a finalement licencié pour son retard. Cependant, la carrière musicale de Roy Clark ne s'est pas arrêtée là et il a joué pour Wanda Jackson dans les années 1960. Pendant ce temps, il poursuit également sa carrière solo. En 1963, il signe avec Capitol Records et enregistre plusieurs tubes avant d'enregistrer pour ABC Records.