Józef Szydzik przyszedł na świat 18 października 1871 r. w Mikołajkach na terenie obecnego województwa warmińsko-mazurskiego, w rodzinie nauczycielskiej. Uczył się w progimnazjum w Nowym Mieście Lubawskim, a później w gimnazjum w Brodnicy, gdzie należał do tajnej organizacji filomackiej, której przez pewien czas przewodniczył.

W 1891 r. zdał maturę i wstąpił do Seminarium Duchownego w Pelplinie. W 1896 r. otrzymał święcenia kapłańskie. Jako wikariusz pracował w Oliwie, Chojnicach i Pączewie. W 1903 r. został proboszczem w Ostródzie, pełniąc jednocześnie prefekta tamtejszego gimnazjum.

W 1905 r. objął parafię w Wielu w dekanacie czerskim na Kaszubach. Dał się tam poznać jako doskonały administrator i społecznik. Dokończył budowę kościoła parafialnego rozpoczętą przez poprzednika oraz zainicjował budowę kościoła filialnego w Dziemianach. Był też głównym inicjatorem i budowniczym Kalwarii Wielewskiej na Białej Górze - drugiego po Kalwarii Wejherowskiej obiektu tego typu na Pomorzu Gdańskim.

Angażował się w życie społeczne, gospodarcze i polityczne. Patronował Towarzystwu Ludowemu i Kółku Rolniczemu, był delegatem Towarzystwa Czytelni Ludowych na powiat chojnicki oraz współzałożycielem Banku Ludowy we Wielu.

Równie aktywny działał w ruchu niepodległościowym. W listopadzie 1918 r. przewodził Komitetowi Obywatelskiemu – pierwszemu po zaborach przedstawicielstwu Polaków w powiecie chojnickim. Z ramienia Powiatowej Rady Ludowej w Chojnicach, której przewodniczył, został delegatem na polski Sejm Dzielnicowy, obradujący w Poznaniu na początku grudnia 1918 r.

W 1924 r. objął parafię w Chełmży. W 1927 r. został tajnym szambelanem papieskim, a w latach 1929-1938 był dziekanem i delegatem biskupim. Jednocześnie nie ustawał w pracy społecznej. Odnowił katedrę chełmżyńską, w starej szkole stworzył dom katolicki, w którym miały siedzibę liczne bractwa i stowarzyszenia religijne, działające pod jego patronatem.

Był dyrektorem Towarzystwa Św. Wincentego a Paulo i Trzeciego Zakonu Św. Franciszka. Patronował Katolickiemu Stowarzyszeniu Młodzieży Polskiej „Promień”. W parku miejskim wybudował kaplicę Matki Bożej Częstochowskiej, odnowił w parafii kult bł. Juty i wybudował pod jej wezwaniem kaplicę w Bielczynach.

W uznaniu dla zasług w 1936 r. został uhonorowany przez papieża Piusa XI godnością infułata - protonotariusza apostolskiego. Odznaczono go również Krzyżem Kawalerskim Orderu Polonia Restituta oraz Srebrnym Krzyżem Zasługi.

W 1938 r. na własną prośbę został proboszczem parafii pw. św. Mikołaja w podbydgoskim Fordonie. Tu kontynuował zapoczątkowaną w poprzednich parafiach wszechstronną działalność.

Po wybuchu II wojny światowej, 20 września 1939 r. został aresztowany przez Niemców i uwięziony w tymczasowym obozie dla internowanych w koszarach 15. Wielkopolskiego Pułku Artylerii Lekkiej w Bydgoszczy. Według różnych źródeł został rozstrzelany bądź otrzymał śmiertelny zastrzyk. Jako datę śmierci podaje się 20 lub 29 września. Jego miejsce pochówku pozostaje nieznane.