Закончил военное училище в Модене, в 1892 оставил военную службу. В 1899 создал первое предприятие ФИАТ для производства автомобилей, в 1906 преобразованное в компанию. Предприятия строились на основе международного разделения труда. По своим взглядам Аньелли был близок к социалистам и, создавая предприятия, стремился не только к получению прибыли, но и к максимальному улучшению жизни рабочих. Во время Первой мировой войны Аньелли проявил большие организаторские способности, увеличив численность работающих до 30 тысяч и наладив выпуск не только автомобилей, но и аэропланов, двигателей, железнодорожной техники и др.
В 1921 рабочие ФИАТ, подстрекаемые коммунистами во главе с Пальмиро Тольятти, потребовали от Аньелли отказаться от собственности, и предприниматель покинул руководство компании, предоставив рабочим предприятия в полное управление. После периода полного хаоса рабочие подписали петицию, в которой просили Аньелли вернуться, и он вновь стал во главе компании.
Сторонник Муссолини, был назначен сенатором в 1923. Сыграл ведущую роль в мобилизации итальянской промышленности перед Второй мировой войной. В апреле 1945 был приговорен Итальянским Комитетом национального освобождения к отстранению от контроля над предприятиями ФИАТ.
В 1935 Джованни пережил личную драму — смерть сына. Он приложил много усилий к воспитанию внуков, Джованни и Умберто, продолживших его дело. В 1966 семья Аньелли вернула себе контроль над предприятиями ФИАТ.