Józef Rostek przyszedł na świat 12 listopada 1859 r. w Wojnowicach koło Raciborza. Uczęszczał do gimnazjum w Raciborzu, w którym w 1880 r. zdał maturę. Później studiował medycynę we Wrocławiu. Założył tam Towarzystwo Górnośląskie grupujące młodzież studencką, którego celem była nauka języka polskiego, literatury i historii Polski.

Po otrzymaniu w 1885 r. w Lipsku stopnia doktora medycyny osiadł w Raciborzu. Praktykował w szpitalach Królewskiej Huty, Krakowa, Drezna oraz uczestniczył wielokrotnie w kursach dokształcających. Pracę zawodową łączył z działalnością społeczną i polityczną, dzięki której szybko stał się bardzo popularny na Górnym Śląsku.

Był inicjatorem założenia w Starej Wsi polskiej Księgarni Katolickiej, którą kierował jego brat Ignacy. Z jego inicjatywy ukazywały się „Nowiny Raciborskie” – pierwsza polskojęzyczna gazeta w tym mieście. Powstał tu także Bank Ludowy i Polski Dom Narodowy „Strzecha”.

Wspierał śląską młodzież gimnazjalną i akademicką. W 1891 r. utworzył w Raciborzu Towarzystwo Pomocy Naukowej dla Polsko-Katolickiej Młodzieży i był jego pierwszym prezesem. Opiekował się tajnym kółkiem samokształceniowym polskiej młodzieży skupionej w Towarzystwie Tomasza Zana w raciborskim gimnazjum.

W 1893 r. został wybrany na przewodniczącego Polskiego Komitetu Wyborczego w Raciborzu i uznany za oficjalnego przywódcę ludności polskiej. Przemawiał na wiecach wyborczych, reprezentując w zakresie programu narodowego stanowisko radykalne.

Był członkiem Ligi Narodowej. W 1903 r. kandydował z listy endecji do parlamentu Rzeszy Niemieckiej. W 1909 r. wszedł w skład zarządu Polskiego Towarzystwa Demokratycznego (stronnictwa Narodowej Demokracji w zaborze pruskim).

Był jednym z założycieli „Gazety Ludowej”, dziennika wychodzącego od 1911 r. w Katowicach. Na jej łamach publikował odezwy, listy i artykuły. Publikował też w „Nowinach Raciborskich”, „Górnoślązaku” i krakowskiej „Nowej Reformie”.

Działał w ramach Towarzystwa Czytelni Ludowych. Był organizatorem i pierwszym przewodniczącym założonego w 1908 r. Towarzystwa Lekarzy Polaków na Śląsku.

Władze pruskie umieściły jego nazwisko na liście osób „niebezpiecznych politycznie” z zaleceniem aresztowania w razie strajku lub wojny. Czując się zagrożony, w maju 1914 r. przeniósł się do Wrocławia, a trzy lata później do Strzelna Kujawskiego, gdzie został dyrektorem szpitala powiatowego.

Po 1918 r. pracował w Warszawie w Ministerstwie Zdrowia Publicznego na stanowisku referenta do spraw położniczych oraz higieny szkolnej. Od listopada 1920 r. organizował od podstaw publiczną służbę zdrowia na Górnym Śląsku jako kierownik Wydziału Zdrowia Publicznego w Polskim Komisariacie Plebiscytowym w Bytomiu.

Podczas trzeciego powstania śląskiego był komendantem szpitala polowego w Małej Dąbrówce i w Świerklańcu. Od 1922 r. pracował w Śląskim Urzędzie Wojewódzkim w Katowicach. Organizował polską służbę zdrowia w województwie i kierował nią aż do śmierci.

Józef Rostek zmarł 28 marca 1929 r., został pochowany na cmentarzu przy ul. Francuskiej w Katowicach. Był odznaczony Orderem Odrodzenia Polski, który otrzymał jako pierwszy Górnoślązak.