Józef Rymer urodził się 9 lutego 1882 r. we wsi Zabełków koło Raciborza, w rodzinie biednego chałupnika. Początkowo pracował jako pomocnik murarski. W wieku 16 lat wyemigrował do Westfalii w poszukiwaniu pracy. Zatrudnił się jako górnik w miejscowości Dellwig, jednocześnie działał w organizacjach skupiających polskich emigrantów.

Gdy w 1902 r. powstało w Bochum Zjednoczenie Zawodowe Polskie - centrala związkowa zrzeszająca polskich robotników w państwie niemieckim, został prezesem utworzonej przez siebie filii tej organizacji w Dellwig. Od 1907 r. pracował w Zarządzie Głównym ZZP w Bochum, dwa lata później wybrano go na sekretarza Zarządu i powierzono funkcję redaktora naczelnego prasy związkowej.

W 1913 r. wybrano go na prezesa Centralnego Zarządu ZZP z siedzibą w Katowicach. Działał także w Towarzystwie Czytelni Ludowych i „Sokole”. Przemawiał na wiecach i zebraniach w Westfalii, a także na Górnym Śląsku. Reprezentował polskich robotników na międzynarodowych kongresach.

W czasie I wojny światowej pracował w wielu organizacjach społecznych. Wszedł m.in. w skład Komitetu Wykonawczego Niesienia Pomocy Głodującej Ludności Królestwa wpierającego ofiary działań wojennych.

Był współorganizatorem Narodowego Stronnictwa Robotników na ziemiach polskich dzielnicy pruskiej. Podczas założycielskiego zjazdu NSR w Poznaniu w kwietniu 1918 r. został wiceprezesem Zarządu Głównego.

W 1918 r. został delegatem na Sejm Dzielnicowy w Poznaniu, który stanowił polityczną reprezentację Polaków Zaboru Pruskiego. Współuczestniczył w powołaniu do życia Naczelnej Rady Ludowej w Poznaniu, sam współtworzył system polskich rad ludowych w terenie.

Z ramienia Komisariatu Naczelnej Rady Ludowej w 1919 r. reprezentował Polskę na konferencji pokojowej w Paryżu w sprawach dotyczących Górnego Śląska. Zdecydowanie opowiadał się przeciwko planowanemu na tym terenie plebiscytowi ludności.

W czerwcu 1919 r. z ramienia NSR został posłem do Sejmu Ustawodawczego. W tym samym roku wziął udział w I powstaniu śląskim, jak również w akcji pomocy uchodźcom ze Śląska.

Po utworzeniu Polskiego Komisariatu Plebiscytowego dla Górnego Śląska z siedzibą w Bytomiu i mianowaniu w lutym 1920 r. Wojciecha Korfantego na stanowisko komisarza plebiscytowego został jednym z trzech jego zastępców. W maju 1920 r. wziął udział w tworzeniu Narodowej Partii Robotniczej, zostając zastępcą przewodniczącego Głównego Komitetu Wykonawczego tej partii.

W sejmie pracował nad projektem przyszłej administracji ziemiami śląskimi. Owocem tego był uchwalony w lipcu 1920 r. Statut Organiczny Województwa Śląskiego. Ustawa ta zapewniała autonomię obszarom, które po plebiscycie zostaną przyznane Polsce i utworzą województwo śląskie.

Przed wybuchem II powstania śląskiego został dotkliwie pobity przez niemieckich bojówkarzy. W czasie III powstania wszedł w skład Komitetu Wykonawczego Naczelnej Władzy Cywilnej na Górnym Śląsku. Jeszcze przed przyłączeniem wschodniej części Górnego Śląska do Polski, dokonano na niego nieudanego zamachu w jego biurze w Katowicach.

Ukoronowaniem jego pracy na rzecz Śląska była nominacja na pierwszego wojewodę autonomicznego województwa śląskiego. Funkcję tą objął 16 czerwca 1922 r. Cztery dni później, 20 czerwca w Szopienicach, uroczyście witał oddziały Wojska Polskiego wkraczające na Górny Śląsk. Jest to symboliczna data powrotu części Górnego Śląska do Macierzy.

Józef Rymer zmarł nagle 5 grudnia 1922 r. na udar mózgu. Pochowany został na katowickim cmentarzu przy ul. Francuskiej. Był odznaczony Krzyżem Komandorskim Orderu Polonia Restituta i Krzyżem Niepodległości.