В молодости Акуфф успешно играл в бейсбол, а в 1932, отказавшись от карьеры врача, организовал кантри-ансамбль, получивший известность как «Smoky Mountain Boys». Записи первых же песен «The Great Speckled Bird» и «The Wabash Cannonball» принесли ему известность. Во второй половине 1930-х годов Акуфф стал одним из самых популярных в Соединенных Штатах Америки исполнителей кантри. К началу 1940-х годов «Smoky Mountain Boys» зарабатывал по 200 тысяч долларов в год.
Для Акуффа характерны пристрастие к традиционному звучанию и стилю исполнения фолк-музыки, искренняя манера пения. В годы Второй мировой войны он дал множество концертов для американской армии в Европе и на Тихом океане, способствуя тем самым популяризации кантри во всем мире. В 1942 Акуфф и поэт-песенник Фред Роуз основали издательство Акуфф-Роуз паблишинг, ставшее крупнейшим в США распространителем кантри-музыки. Дважды, в 1944 от демократической партии и в 1948 от республиканской, Рой Акуфф баллотировался на пост губернатора Теннесси, но безуспешно.
В 1950-е годы в Америке усилился интерес к кантри-музыке и Акуфф продолжал интенсивную концертную и студийную работу. В 1962 он стал первым из живущих музыкантов, чье имя было внесено в Зал славы кантри-музыки. Итогом его творчества стал альбом «Will the Circle Be Unbroken (1972), записанный с группой «Nitty Gritty Dirt Band». В 1987 Акуффу была вручена премия Грэмми за совокупность музыкальных заслуг. Кроме упомянутых, к наиболее известным песням Роя Акуффа относятся «Wreck on the Highway», «Great Speckled Bird», «The Precious Jewel».