Die späteren Oak Ridge Boys wurden Anfang der 1940er Jahre von Wally Fowler als Harmony Quartet gegründet. Vorläufer waren die Georgia Clodhoppers, die seit Mitte der 1930er Jahre unter der Leitung Fowlers musizierten. Da die Gruppe regelmäßig in den Atomfabriken des Oak Ridge National Laboratory auftrat, nahm sie 1945 den Namen Oak Ridge Quartet an.

1949 kam es zu einer kompletten Umbesetzung. Bandleader Fowler entließ alle Mitglieder und ersetzte sie durch Bob Weber und sein Calvary Quartet. 1956 löste Fowler das Oak Ridge Quartet auf und verkaufte die Namensrechte an Smitti Gatlin. Dieser heuerte neue Musiker an und nannte sie 1961 in Oak Ridge Boys um. 1963 wurde mit dem Warner Brothers Label ein Schallplattenvertrag abgeschlossen.Eine zunächst vorsichtige Umorientierung in Richtung Country-Musik wurde 1964 durch den Einstieg von William Lee Golden und 1966 von Duane Allen eingeleitet, der Gatlin ersetzte. Die Haare wurden länger, und die Begleitband mit einem Schlagzeuger erweitert. Der Popularität unter den Anhängern der Gospelmusik tat das zunächst keinen Abbruch. 1971 erhielt man sogar einen Grammy für den Song Talk About The Good Times. 1972 ersetzte Richard Sterban den Bassisten Noel Fox, und ein Jahr später wurde Joe Bonsall für Willie Wynn eingestellt. Damit hatte sich die Besetzung zusammengefunden, die über mehr als ein Jahrzehnt zahlreiche Top-Hits hervorbringen sollte.

Auf dem 2009 erschienenen Album The Boys Are Back (dt.: Die Jungs sind zurück) ist unter anderem eine Coverversion des Liedes Seven Nation Army der amerikanischen Rockband The White Stripes zu hören.

Im August 2011 wurden die Oak Ridge Boys als Mitglieder in die Grand Ole Opry aufgenommen. Am 6. Dezember 2018 traten sie beim Staatsbegräbnis für George H. W. Bush auf.