Urodził się 5 stycznia 1893 r. we Lwowie w rodzinie urzędniczej. Wychował się w Drohobyczu, gdzie ukończył gimnazjum i zdał maturę. Obowiązkową służbę wojskową odbył w armii austriackiej. Studiował na Wydziale Prawa Uniwersytetu Jana Kazimierza we Lwowie. W 1913 r. przeniósł się na Wydział Lekarski Uniwersytetu Jagiellońskiego.

W czasie studiów związał się z ruchem socjalistycznym. Od 1910 r. należał do Polskiej Partii Socjalistycznej-Frakcja Rewolucyjna. W tym samym okresie przystąpił do Związku Walki Czynnej oraz Związku Strzeleckiego. W 1913 r. ukończył w jego ramach kurs oficerski.

Później pełnił funkcję komendanta niższej szkoły oficerskiej w Krakowie, a od stycznia 1914 r. był instruktorem Związku Strzeleckiego w Warszawie. Tuż przed wybuchem I wojny światowej został wcielony na krótko do armii austriackiej. W sierpniu 1914 r. wstąpił do Legionów Polskich.

W czasie kryzysu przysięgowego w 1917 r. został na krótko internowany, później działał w strukturach Polskiej Organizacji Wojskowej, m.in. jako jej przedstawiciel na terenie Ukrainy i Białorusi.

W listopadzie 1918 r. wstąpił do Wojska Polskiego, obejmując dowództwo 5 pułku piechoty Legionów. Był organizatorem odsieczy dla walczącego Lwowa. Podczas wojny z bolszewikami stojąc na czele brygady, uczestniczył w operacji wileńskiej. Następnie brał udział w działaniach na froncie litewsko-białoruskim. Jako dowódca I Brygady Rezerwowej w czerwcu 1920 r. walczył z Armią Czerwoną na Wołyniu.

Po zakończeniu działań wojennych był m.in. dowódcą 19 Dywizji Piechoty w Wilnie. W 1924 r. otrzymał nominacje na generała brygady. W kolejnych latach zajmował stanowisko szefa Biura Personalnego Ministerstwa Spraw Wojskowych oraz dowódcy 25 Dywizji Piechoty w Kaliszu. Następnie pełnił funkcję dowódcy Okręgu Korpusu III Grodno, Okręgu Korpusu VI Lwów i Okręgu Korpusu VIII Toruń.

Podczas kampanii wrześniowej dowodził Grupą Operacyjną wchodzącą w skład Armii „Pomorze”. Po przedarciu się do walczącej stolicy objął stanowisko zastępcy dowódcy Grupy Armii „Warszawa”. W przeddzień kapitulacji stolicy powierzono mu zadanie stworzenia konspiracyjnej organizacji wojskowej, która przyjęła nazwę Służba Zwycięstwu Polski. Po utworzeniu w jej miejsce Związku Walki Zbrojnej został komendantem Obszaru Nr 3 Lwów ZWZ, który obejmował tereny okupacji sowieckiej.

6 marca 1940 r. przy przekraczaniu granicy okupacji niemiecko-sowieckiej na Sanie pod Jarosławiem został aresztowany przez NKWD. Przebywał w więzieniach w Przemyślu, Dniepropietrowsku i łagrze w okolicach Archangielska. Uwolniony na mocy układu Sikorski-Majski w sierpniu 1941 r., objął dowództwo 6 Dywizji Piechoty „Lwów” w armii gen. Andersa w Związku Sowieckim.

W styczniu 1943 r. awansował na stopień generała dywizji. W marcu tego roku został zastępcą dowódcy Armii Polskiej na Wschodzie, a od sierpnia dowodził 3 Korpusem Polskim. Od grudnia 1944 r. do sierpnia 1946 r. pozostawał w dyspozycji Ministerstwa Obrony Narodowej. Do końca grudnia 1946 r. przebywał w Wielkiej Brytanii w dowództwie 2 Korpusu Polskiego, a następnie Polskiego Korpusu Przysposobienia i Rozmieszczenia.

Po demobilizacji w 1947 r. pozostał w Wielkiej Brytanii i zamieszkał w Londynie. Pracował zawodowo jako robotnik w fabryce sprzętu radiowego oraz nocny stróż.

Brał czynny udział w życiu polskiej emigracji, aktywnie działając na rzecz polskich kombatantów. Był m.in. członkiem Głównej Komisji Skarbu Narodowego RP na Uchodźstwie.

W 1954 r. został mianowany przez prezydenta Augusta Zaleskiego Generalnym Inspektorem Sił Zbrojnych i ministrem obrony narodowej. W 1964 r. został awansowany do stopnia generała broni.

W maju 1964 r. wyjechał na leczenie do Maroka. Zmarł 22 maja tego roku w Casablance, został pochowany na cmentarzu Brompton w Londynie. W 1992 r. urnę z jego prochami przewieziono na Cmentarz Powązkowski w Warszawie.

Gen. Michał Karaszewicz-Tokarzewski był odznaczony m.in. Orderem Virtuti Militari kl. II i V, Krzyżem Niepodległości z Mieczami, Orderem Polonia Restituta kl. III i IV, czterokrotnie Krzyżem Walecznych oraz dwukrotnie Złotym Krzyżem Zasługi z Mieczami.