В 1929-1932 в любительском боксе считался одним из лучших легковесов США. В 1933, перейдя в профессионалы, Армстронг стал единственным в истории профессионального бокса спортсменом, который одновременно владел тремя титулами чемпион мира: в 1937 в полулегком весе выиграл нокаутом у П. Саррона, в мае 1938 во 2-м полусреднем весе победил неоднократного чемпиона мира Б. Росса и в августе 1938 в легком весе одержал верх над Лу Амберсом. В 1939 в матче-реванше он уступил титул чемпиона в легком весе. Во 2-м полусреднем весе в течение двух лет 19 раз отстаивал чемпионский титул.
В 1945 Армстронг ушел из спорта. Отличался необыкновенной силой и выносливостью, вел свои поединки в стремительном темпе, агрессивной и жесткой манере, за что получил прозвища «вечный двигатель», «калифорнийская комета» и др. Обладая ораторским талантом, стал проповедником, в 1951 был посвящен в сан баптистского священника.