Zygmunt Rylski urodził się 16 kwietnia 1898 r. w Suwałkach. Uczył się w miejscowym gimnazjum, w 1915 r. został wraz z rodziną ewakuowany do Wilna, a potem do Smoleńska, gdzie kontynuował naukę i zdał maturę. Od końca 1916 r. na służbie w armii carskiej, szkolił się w szkole podoficerskiej w Tyflisie.

Jesienią 1917 r. wstąpił do I Korpusu Polskiego w Rosji. Dowodził plutonem, a następnie kompanią w walkach przeciwko bolszewikom. Po rozwiązaniu korpusu w czerwcu 1918 r. został zdemobilizowany. Podczas powrotu do kraju został na krótki czas internowany przez Niemców.

W listopadzie 1918 r. rozbrajał Niemców w Warszawie, a następnie wstąpił ochotniczo do Wojska Polskiego. Przeszedł kurs instruktorski i został instruktorem i dowódcą plutonu w 13 pułku piechoty. Brał udział w wojnie polsko-bolszewickiej, m.in. w obronie Modlina.

W sierpniu 1920 r. został przeniesiony do 15 pp. W jego szeregach walczył z bolszewikami pod Stepankowiczami i Włodzimierzem Wołyńskim. Po wojnie dostał przydział do 77 pp.

W 1922 r. był słuchaczem kursu przeszkolenia w Szkole Podchorążych Piechoty w Warszawie. W następnych latach kontynuował karierę w wojsku, pełniąc funkcje dowódcy bądź instruktora w jednostkach w całym kraju.

W marcu 1939 r., po nominacji do stopnia majora, objął dowództwo nad I batalionem 43 Pułku Strzelców Legionu Bajończyków w Dubnie. Tam zastał go wybuch II wojny światowej.

Podczas kampanii wrześniowej walczył na czele swojego batalionu w szeregach 13. Dywizji Piechoty. Po przebiciu się do Warszawy od 26 września objął dowodzenie nad 43. pułkiem.

W październiku 1939 r. włączył się do działalności konspiracyjnej w Służbie Zwycięstwu Polski, a następnie Związku Walki Zbrojnej. Oficjalnie pracował jako sekretarz w praskim Oddziale Rady Głównej Opiekuńczej. Od 1940 r. był komendantem IV Rejonu Obwodu Praga AK, w sierpniu 1942 r. został komendantem całego Obwodu Praga.

W lutym 1944 r. został aresztowany przez gestapo. Trafił na miesiąc do więzienia w Alei Szucha, a następnie na Pawiak. W maju został wywieziony do KL Stutthof. Tam jako najstarszy stopniem oficer był komendantem konspiracji obozowej.

Chory na tyfus, został zamordowany 5 marca 1945 r. w podobozie ewakuacyjnym we wsi Gęś koło Lęborka i tam pogrzebany w zbiorowym grobie. Jego symboliczny grób znajduje się na Cmentarzu Bródzieńskim na Pradze.

Ppłk Zygmunt Rylski był wielokrotnie odznaczany, m.in. Krzyżem Orderu Virtuti Militari V klasy oraz czterokrotnie Krzyżem Walecznych.