Родился Александр в Петербурге в 1883 году. Большая часть его детства прошла в имении родителей в Крыму. В шесть лет он полюбил камни. Когда он научился держать молоток, он начал выбивать из пород кристаллы горного хрусталя. Сквозь кристалл турмалина он однажды посмотрел на страницу в книге и поразился тому, что буквы удвоились. Так он узнал о двулучепереломления. Александр учился в Одесской гимназии, успевал он неплохо.
В 1901 году он закончил обучение в гимназии и поступил в Новороссийский университет в Одессе. Однако когда он услышал, что в Московском университете хорошая кафедра геологии, то он перевелся туда. Музею университета Александр подарил всю свою коллекцию камней.
Кроме того, в стенах этого университета он познакомился с Владимиром Вернадским. Труды этого минеролога легли в основу будущей науки – «Геохимии». Так назывался четырехтомный труд Ферсмана, который издавался с 1933 по 1939 гг. Профессором Московского университета Ферсман стал в 1912 году. Он разработал и стал читать студентам курс геохимии. Довольно часто он отправлялся в геологические экспедиции, организованные за его счет. При Академии наук была создана Комиссия по изучению естественных сил России. Одним из самых активных членов комиссии был Ферсман.
Результаты своих экспедиций он описывал статьях, а впечатлениями делился в книге «Воспоминания о камне». Почти четверть века потратил ученый на изучение пегматитовых жил. Его монография «Пегматиты», вышедшая в 1931 году стала классической в области геологии.
Ученый также совершил ряд открытий. Его экспедиция в горах Кольского полуострова нашла апатит. Это камень плодородия, из которого добывают фосфорные удобрения. Новый способ добычи удобрений из апатита разработал сам Александр. В Монче-тундре он открыл местоположение никелевых и медных руд. Много различных минералов он нашел на Урале.
Был Ферсман директором Минералогического музея, членом президиума АН СССР. В его творческом активе более 1000 работ. Лондонское геологическое общество наградило его за труд «Геохимия» медалью им. Волластона. Скончался великий ученый в 1945 году в Сочи, на берегу своего любимого Черного моря.