W czasie 35-letniej kariery wojskowej w armii USA osiągnął stopień generała (4 gwiazdki). Wcześniej walczył m.in. w Wietnamie (23. Dywizja Piechoty), był też dowódcą batalionu stacjonującego w Korei Południowej, dowódcą brygady w 101. Dywizji Powietrznodesantowej oraz dowódcą V Korpusu US Army stacjonującego w Niemczech.

W okresie od grudnia 1987 roku do stycznia 1989 roku – doradca ds. bezpieczeństwa narodowego w gabinecie prezydenta USA Ronalda Reagana. W okresie od 1 października 1989 roku do 30 września 1993 roku – przewodniczący Kolegium Połączonych Szefów Sztabów Sił Zbrojnych USA (najwyższe stanowisko wojskowe w US Armed Forces). Piastował to stanowisko m.in. w trakcie pierwszej wojny w Iraku (1991).

W styczniu 2001 roku powołany przez prezydenta George’a W. Busha na stanowisko sekretarza stanu USA. 12 listopada 2004 roku, po zwycięstwie George’a W. Busha w kolejnych wyborach prezydenckich, złożył rezygnację z zajmowanego stanowiska, 26 stycznia 2005 roku zastąpiła go Condoleezza Rice. W wyborach prezydenckich w 2008 roku poparł kandydata demokratów, Baracka Obamę.

Był żonaty, miał troje dzieci (syn i dwie córki).

Podczas wojny w Wietnamie służący jako oficer Powell był zamieszany w tuszowanie masakry wietnamskich cywilów w Mỹ Lai.