Физик пришел в наш мир 3 мая 1902 года в Гебвиллере в Эльзасе (в то время это была территория Германской империи, в настоящее время это Франция) у Фредерика Мишеля Кастлера и его жены. Первоначально учился в своем родном городе, а затем ходил в школу Кольмара, которая стала лицеем в 1918 году после возвращения Эльзаса во Францию в результате Первой мировой войны. С раннего возраста его интерес к науке отметили учителя математики и естествознания. Прочитав книгу об атомной структуре и спектральных линиях Арнольда Зоммерфельда, он познакомился с принципом сохранения импульса, который используется для обмена энергией между излучением и атомами, что стало фундаментом, которым ученый руководствовался на протяжении всей своей исследовательской карьеры. После окончания школьного образования в 1921 году Альфред поступил в «École Normale Supérieure» в Париже, где в 1926 году получил степень бакалавра по физике.
С 1926 по 1931 год работал учителем физики в лицее. Затем углубился в академическую карьеру и поступил в университет Бордо в качестве ассистента профессора, занимая должность с 1931 по 1936 год. После выполнения своих педагогических обязанностей он будет использовать свое свободное время для проведения научной работы. Долгое время работал в области оптической спектроскопии и атомной флуоресценции. В 1937 году обратил свое внимание на свечение атомов натрия в верхних слоях атмосферы. Физик провел достаточно много открытий в «Ecole Normale Supérieure», где после войны он и его ученик Жан Броссель сформировали небольшую исследовательскую группу по спектроскопии. В 1951 году дуэт основал спектроскопическую лабораторию на кафедре физики. Они сотрудничали и исследовали такие области, как спектроскопия, изучение взаимодействия между электромагнитным излучением и веществом, квантовая механика, фундаментальная область в физике, которая имеет дело с методами, которые вовлекают фотоны и атомы, взаимодействие между атомами и светом.
В декабре 1924 года Кастлер женился на Элиз Коссе. По профессии она была преподавателем истории в средней школе. У них родилось трое детей. Даниэль (1926 года рождения) стал профессором физики на факультете естественных наук в Марселе. Мирей (1928 года рождения) — по профессии офтальмолог. Клод-Ив (1936 года рождения) — преподаватель русского языка на художественном факультете в Гренобле. Кастлер скончался 7 января 1984 года в возрасте 81 года в Бандоле, Франция.