Будущий ученый пришел в наш мир 28 марта 1928 года, Берлин, Германия. Мать — Иоганна Гротендик. Биологическим отцом был Александр Шапиро (также известный как Александр Танаров). Иоганна была замужем за другим человеком, но их брак распался в 1929 году. Александр жил со своими родителями до 1933 года, когда его отец переехал в Париж, чтобы избежать нацизма. Мать оставила мальчика у В. Гейдорна, лютеранского пастора и учителя. Позже Гротендик присоединился к своей матери, уехал во Францию во время Второй мировой войны в 1939 году и жил с ней в различных лагерях для перемещенных лиц. Последние годы войны они провели в деревне Шамбон-сюр-Линьон, прячась в местных пансионатах. Отец был убит в концлагере Освенцим в 1942 году. Юный Александр посещал среднюю школу, основанную в 1938 году местными протестантскими пацифистами и антивоенными активистами. Именно там была обнаружена страсть юноши к математической науке. После войны он изучал эту науку в университете Монпелье. Работая самостоятельно, заново открыл меру Лебега и провел несколько независимых исследований в течение следующих трех лет. В 1950 году перешел в университет города Нанси, где написал диссертацию под руководством Лорана Шварца и Жана Дьёдоне по функциональному анализу и получил докторскую степень в 1953 году. К этому времени этот человек стал ведущим специалистом по теории топологических векторных пространств.
Александр несколько лет путешествовал и преподавал в Бразилии и Америке, прежде чем вернуться во Францию в 1956 году. Он принял назначение в качестве профессора в Научно-исследовательском институте в 1959 году. За годы работы там произвел революцию в теории алгебраической геометрии, получил большое признание, имел блестящих учеников, таких как Мишель Рейно, Жан Жиро и Пьер Делинь. Этот ученый математик работал более десяти лет в институте, и создал за это время несколько объединяющих тем в алгебраической геометрии, топологии и комплексном анализе. При содействии Жана Дьедоне была опубликована его работа, представленная в восьми частях с 1960 по 1967 гг. В томах были описаны систематические основы алгебраической геометрии, опираясь на концепцию схем.
Гротендик когда-то был женат на женщине по имени Мирей Дюфур, и у него было трое детей. Также у математика родился сын во время его пребывания в Нанси и еще один ребенок с женщиной по имени Джастин Скальба, с которой он жил в начале 1970-х годов. В последние годы своей жизни математик стал настоящим отшельником. В 1991 году сменил адрес, которым поделился только с несколькими своими знакомыми. Александр
умер в больнице Сен-Жирон, Арьеж, 13 ноября 2014 года. На тот момент ему исполнилось 86 лет, и стало известно, что он жил один.