Мастер боевых искусств появился на свет 5 мая 1946 года в Миллерсбурге, штат Кентукки. Его отец занимался арендой лодок для персонала военно-морских сил США. О его родителях, братьях и сестрах известно немногое. Келли посещал среднюю школу округа Бурбон в Кентукки. Во время учебы там он занимался несколькими видами спорта, играл в футбол и баскетбол. Позже Джим поступил в Луисвилльский университет, где играл в футбол. Постепенно у Келли появился интерес к карате. После первого года обучения он оставил университет, чтобы заняться этим видом спорта.
В 1970-х начал свою карьеру тренера по боевым искусствам, а уже через год победил на чемпионатах мира. Келли также был теннисистом. В 1970 году он еще был любителем, но позже стал профессионалом в «Теннисной ассоциации Соединенных Штатов». Зарекомендовав себя мастером боевых искусств, Джим открыл собственное «додзё» для занятий карате. Большое количество звезд Голливуда были частыми гостями на его тренировках. В 1972 году Келли получил возможность обучать актера Кэлвина Локхарта. В фильме «Мелинда» был персонаж, Чарльз Аткинс, преподаватель боевых искусств. Из-за впечатляющего мастерства каратиста создатели фильма выбрали его на эту роль. Он был первым афроамериканским актером, сыгравшим роль эксперта по боевым искусствам. До появления Джима в этом жанре доминировали азиатские актеры. В 1973 году он был задействован в фильме «Выход дракона», продюсером которого выступил Брюс Ли, который также был исполнителем главной роли. В фильме Келли исполнил роль Уильямса, ветерана войны во Вьетнаме и эксперта по боевым искусствам. Персонаж запомнился больше всего своей уникальной прической и легкими движениями карате. В 1974 году был приглашен на главную роль в фильме «Джонс — Черный пояс». Здесь Келли изображен как мастер боевых искусств, который отправился на миссию по защите «додзё» своего друга. Это был один из немногих фильмов, в котором Джим сыграл главную роль.
Актер был женат дважды. В 1967 году его супругой стала Мэрилин Дишман, которая была его девушкой со времен учебы в колледже. Пара развелась в 1968 году. У них родилась дочь Сабрена. В 1980 году он связал себя узами брака с Марсией Бентли. Они оставались вместе до самой его смерти. Каратист в последние дни своей жизни страдал от рака. 29 июня 2013 года он сделал последний вдох в Сан-Диего (в возрасте 67 лет). Для съемок «Выход дракона» Келли был вынужден находиться в Гонконге. В этот период он стал другом Брюса Ли, а сам Ли уважал Келли за его способности и позволил ему внести свой творческий вклад во время съемок боевых сцен.