Olaf Scholz urodził się w Osnabrücku, jego rodzice byli kupcami tekstylnymi. Studiował prawo w Hamburgu. W 1985 podjął praktykę w zawodzie adwokata w kancelarii prawniczej w Hamburgu, specjalizował się w prawie pracy. W latach 1990-1998 pracował także w organizacji zrzeszającej stowarzyszenia konsumenckie.

W 1975 przystąpił do SPD, angażując się działalność w jej młodzieżówce Jusos. Od 1987 do 1989 pełnił również obowiązki wiceprezesa IUSY. Od 1994 do 2000 stał na czele organizacji partyjnej w dzielnicy Altona, a w latach 2000-2004 był przewodniczącym SPD w Hamburgu. W 2001 wybrano go do zarządu federalnego partii, a od 2002 do 2004 sprawował funkcję jej sekretarza generalnego (ustąpił po tym, jak z przywództwa w partii zrezygnował Gerhard Schröder).

W l. 1998-2001 i 2002-2011 zasiadał w Bundestagu, uzyskując mandat w okręgu jednomandatowym. 

Po wyborach w 2005 objął funkcję przewodniczącego klubu parlamentarnego SPD. W listopadzie 2007 otrzymał nominację na urząd ministra pracy i spraw społecznych w rządzie Angeli Merkel. Po porażce wyborczej SPD w wyborach w 2009 objął ponownie obowiązki przewodniczącego partii w Hamburgu, a w listopadzie tegoż roku zakończył pełnienie funkcji ministra.

Od 2011 był wybierany na posła do hamburskiego parlamentu. 7 marca 2011 został burmistrzem Hamburga. Utrzymał to stanowisko również po wyborach regionalnych w 2015. W lutym 2018, po rezygnacji złożonej przez Martina Schulza, został komisarycznym przewodniczącym SPD. Pełnił tę funkcję do kwietnia 2018.

W marcu 2018 został wicekanclerzem oraz ministrem finansów w czwartym rządzie Angeli Merkel. W 2019 bez powodzenia ubiegał się o przywództwo w SPD.

W sierpniu 2020 został przez władze SPD mianowany kandydatem na kanclerza w wyborach do Bundestagu w 2021. W głosowaniu z września 2021 socjaldemokraci uzyskali najwięcej mandatów w Bundestagu, Olaf Scholz został wybrany na posła z Brandenburgii.

8 grudnia został wybrany przez Bundestag na kanclerza Niemiec, zastępując na tym stanowisku Angelę Merkel, która sprawowała władzę w Niemczech przez 16 lat.

Nowy kanclerz popiera obowiązek szczepień przeciwko COVID-19. Ważne jest, abyśmy ustanowili powszechny obowiązek szczepień - powiedział Scholz. Polityk wezwał do "ponadpartyjnej inicjatywy Bundestagu". - Jako poseł do parlamentu w każdym razie się na to zgodzę, aby to było jasne - przekazał Scholz w portalu "Spiegel"