Воспитывался сперва в доме дяди Михаила Воронцова, а в 15 лет начал службу в лейб-гвардии Измайловском полку, но вскоре отправлен во Францию, в Версальскую рейтарскую школу, путешествовал по Италии, Испании и Португалии, познакомился с деятелями французского Просвещения и был автором первых печатных переводов философских повестей Вольтера на русском языке. С 1761 перешел на дипломатическую службу и был поверенным в делах России в Вене, послом в Лондоне и Гааге. По возвращении в Россию с 1773 более 20 лет возглавлял Коммерц-коллегию и прослыл опытным государственным деятелем, которого боялись другие министры и чье мнение уважала Екатерина II.
Отличался независимостью суждений, строгим характером, осуждал роскошь двора и добивался сокращения ввоза в страну дорогих тканей и вин. Его собственный дом был наполнен книгами, старинными рукописями и прозведениями искусства. Вместе с А. Н. Радищевым, которому Воронцов протежировал, в 1774-75 входил в масонскую ложу «Урания», однако активного участия в ее деятельности не принимал. Считается, что Воронцов оказал влияние на формирование общественно-политических взглядов Радищева, который посвятил ему одну из глав «Путешествия из Петербурга в Москву». После ссылки писателя Воронцов поддерживал с ним переписку и помогал его семье. В 1794 он вышел в отставку, был одним из вдохновителей переворота 1801, после которого вернулся на службу и стал членом Непременного совета, а затем (1802-04) канцлером. Свои политические убеждения изложил в записке на имя императора Александра I, где показал себя поклонником реформ Петра I. Оставил автобиографические записки, известна его переписка с Вольтером.