Родился в семье кантора, в детстве пел в церковном хоре. С 15-ти лет стал выступать как пианист, руководитель инструментального трио. Позднее пел в барах, ночных клубах, на речных пароходах. В 1925 приехал в Нью-Йорк, где начал сочинять музыку и песни для ревю и шоу в знаменитом гарлемском Коттон-клубе, а также для бродвейских театров и Голливуда. С начала 1930-х годов приобрел широкую популярность благодаря своим песням, вошедшим в репертуар многих эстрадных певцов и джазовых музыкантов (например, известного Бинга Кросби), а также мюзиклам, среди которых наиболее известны «Феминистка» (1944), «Ямайка» (1957). Арлену удалось создать особый тип мюзикла, основанного на негритянском музыкальном материале и предназначенном специально для негритянских исполнителей. Этот жанр получил название блюз-оперы («Ямайка», «Свободно и легко», «Женщина из Сент-Луи»).
Арлен успешно выступал и как певец с оркестром Реда Николса, Дж. Венути (1930-31). Пластинки с записью песен в его исполнении не залеживались на прилавках музыкальных магазинов. Арлен признан одним из классиков американского музыкального театра.
После смерти жены в 1970 году Арлен потерял интерес к жизни, стал избегать друзей и родственников, постепенно становясь затворником. Он умер в Нью-Йорке в 1986 году в возрасте 81 года.