Józef Rybczyk urodził się 10 października 1912 r. w miejscowości Holyoke w północno-wschodniej części Stanów Zjednoczonych, w rodzinie polskich emigrantów. W 1921 r. przyjechał do Polski, uczęszczał do gimnazjum w Pleszewie. Po zdaniu matury w 1931 r. rozpoczął studia na Wydziale Prawa Uniwersytetu Jagiellońskiego.

Studia przerwał po pierwszym roku, po czym wstąpił do seminarium duchownego w Kielcach. W czerwcu 1937 r. przyjął święcenia kapłańskie i został skierowany na studia z prawa kanonicznego na KUL, gdzie otrzymał tytuł licencjata. Podjął posługę duszpasterską w parafii Krajno, gdzie zastał go wybuch wojny. W pierwszych tygodniach okupacji pracował w parafiach w Moskorzewie, Sułoszowie i Skalbmierzu.

Od listopada 1939 r. kontynuował studia na KUL, jednak jeszcze w tym samym miesiącu został aresztowany przez gestapo wraz z kilkoma profesorami i studentami uczelni i osadzony w więzieniu na Zamku Lubelskim. Po interwencji ordynariusza kieleckiego bp. Czesława Kaczmarka i ambasadora amerykańskiego w Polsce został zwolniony w marcu 1940 r.

Od jesieni 1940 r. do końca okupacji pracował jako wikariusz w podkrakowskich Proszowicach. Organizował tajne nauczanie, był też kapelanem w stopniu kapitana w Inspektoracie AK „Maria”, a później w 106. Dywizji Piechoty AK. Redagował i kolportował prasę podziemną. Za pracę w konspiracji otrzymał Krzyż Zasługi z Mieczami.

Po wojnie został powołany na stanowisko notariusza w kurii kieleckiej i promotora sprawiedliwości w Sądzie Biskupim. Od lutego 1946 r. był nauczycielem religii w Gimnazjum i Liceum Koedukacyjnym w Kielcach. Należał do komisji opracowującej krytyczny wobec władz PRL memoriał dotyczący pogromu kieleckiego. W listopadzie 1946 r. wyjechał do Rzymu na dalsze studia z zakresu prawa kanonicznego.

Po powrocie został radcą prawnym w kurii oraz redaktorem „Kieleckiego Przeglądu Katolickiego”, od sierpnia 1948 r. był kurialnym kanclerzem. We wrześniu 1949 r. rozpoczął wykłady z prawa kanonicznego na KUL. W następnym roku został zastępcą profesora na Wydziale Prawa Kanonicznego. Miał opinię kapłana negatywnie oceniającego PRL, który krytycznie wypowiadał się o rządzących.

W ramach represji wymierzonych przez rząd w kościelny uniwersytet został aresztowany 25 lutego 1952 r. w Lublinie i wraz z innymi księżmi kieleckimi osadzony w więzieniu mokotowskim w Warszawie. Aresztowanie miało ścisły związek z przygotowywanym procesem pokazowym bp. Kaczmarka, oskarżanego o „szpiegostwo na rzecz imperialistów”.

Wojskowy Sąd Rejonowy w Warszawie zajął się jego sprawą w czerwcu 1954 r., czyli po ponad 2 latach pobytu w więzieniu. Zespołowi sędziowskiemu przewodniczył Mieczysław Widaj, a członkami zespołu byli: Juliusz Surażski i Czesław Bakalarski, oskarżał prokurator Marian Nowak.

Ostatecznie śledztwo oparte jedynie na poszlakach zostało umorzone i w lutym 1955 r. ks. Rybczyk opuścił mury więzienia, w którym spędził 3 lata.

Po wyjściu na wolność powrócił na KUL, w którym zajmował stanowisko prorektora oraz dziekana Wydziału Prawa Kanonicznego. W 1971 r. został mianowany profesorem nadzwyczajnym. Za wieloletnią pracę nauczycielską otrzymał Krzyż Kawalerski Orderu Odrodzenia Polski.

Ks. prof. Józef Rybczyk zmarł 19 maja 1983 r. w Lublinie. Spoczął na tamtejszym cmentarzu przy ul. Lipowej.