Уроженец Финляндии, барон Армфельт был фаворитом шведского короля Густава III, участвовал в русско-шведской войне 1788-1790 гг. В 1794 был обвинен в государственной измене и бежал в Россию. В 1801 Армфельт вернулся в Швецию, занимал ряд командных должностей в шведской армии. В 1809 он стал президентом военной коллегии Швеции.
В 1811 Армфельт перешел на русскую службу и был назначен председателем комитета по финляндским делам. Он оказывал большое влияние на императора Александра I Павловича в отношении Финляндии и скандинавских стран. В 1812 Армфельт получил титул графа и чин генерала от инфантерии.