Urodził się 25 grudnia 1910 r. we wsi Sadykierz (pow. pułtuski), w rodzinie Adama i Wiktorii z d. Dawidzkiej. Po uzyskaniu świadectwa dojrzałości w Bydgoszczy w 1929 r. wstąpił do seminarium duchownego w Gnieźnie, a po ukończeniu tam studiów filozoficzno-teologicznych przyjął święcenia kapłańskie 17 czerwca 1934 r. z rąk kard. Augusta Hlonda. Po święceniach pracował przez cztery lata jako wikariusz i prefekt w Pleszewie. W 1938 r. został wysłany na studia do Rzymu na Papieski Uniwersytet Gregoriański; przerwał je wybuch II wojny światowej. Okupację spędził na pograniczu trzech diecezji: gnieźnieńskiej, poznańskiej i włocławskiej. Przez całą wojnę sprawował tajne duszpasterstwo, najpierw jako kapłan w parafiach podpleszewskich, a następnie jako cywilny pracownik u Niemców w okolicach Władysławowa koło Turku.

W 1945 r. skierowano go na Ziemie Odzyskane, do Gorzowa, z zadaniem organizowania duszpasterstwa. Pełnił tam szereg funkcji – był kanclerzem kurii, proboszczem katedry, wydawcą pisma kościelnego „Tygodnik Katolicki”. W 1948 r. wrócił do macierzystej diecezji gnieźnieńskiej, gdzie sprawował wiele odpowiedzialnych funkcji – dyrektora Archidiecezjalnego Związku „Caritas” i równocześnie sekretarza generalnego Stowarzyszenia Katolickiej Młodzieży Męskiej i Żeńskiej, sędziego prosynodalnego, referenta kurii i od 1956 r. oficjała Trybunału Metropolitarnego oraz przewodniczącego Wydziału ds. Zakonnych przy Kurii Metropolitalnej w Gnieźnie. Był także wizytatorem domów zakonnych, egzaminatorem prosynodalnym i synodalnym oraz wykładowcą katolickiej nauki społecznej w seminarium gnieźnieńskim.

W 1963 r. Ojciec Święty mianował ks. Jana Zarębę biskupem pomocniczym we Włocławku. Święcenia biskupie przyjął w katedrze włocławskiej 8 września z rąk prymasa Polski Stefana Wyszyńskiego. Jako biskup pomocniczy podjął liczne obowiązki w kurii diecezjalnej we Włocławku. Był wikariuszem generalnym, członkiem kapituły katedralnej, przewodniczącym licznych komisji kurialnych, a także członkiem komisji przy Konferencji Episkopatu Polski – Misyjnej, ds. Miłosierdzia Chrześcijańskiego, ds. Duchowieństwa i Reformy Prawa Kanonicznego (przewodniczący). W 1965 r. uczestniczył w czwartej sesji Soboru Watykańskiego II.

Po śmierci bp. Antoniego Pawłowskiego (17 IX 1968) został wybrany na wikariusza kapitulnego. W dniu 16 X 1968 r. Stolica Apostolska mianowała go administratorem diecezji włocławskiej, a – na skutek zatargów z ówczesnymi świeckimi władzami komunistycznymi – dopiero rok później (20 X 1969) otrzymał nominację na ordynariusza diecezji. Ingres i kanoniczne objęcie diecezji nastąpiło 1 lutego 1970 r.

Będąc biskupem włocławskim, dał się poznać jako budowniczy wielu świątyń w trudnych czasach reżimu komunistycznego. We Włocławku dzięki jego trosce uzyskano zezwolenie na budowę siedmiu kościołów: św. Józefa, św. Maksymiliana, Narodzenia Najświętszej Maryi Panny i św. Jana Apostoła, Najświętszego Zbawiciela, Ducha Świętego, Najświętszego Serca Pana Jezusa oraz Najświętszej Maryi Panny Królowej Polski, czyli wszystkich kościołów wybudowanych we Włocławku po II wojnie światowej. Podobnie było w całej diecezji. Do tego należy doliczyć budowy salek katechetycznych i plebanii. Biskup J. Zaręba nie tylko zabiegał o ich powstanie, ale także troszczył się o uzyskanie funduszy na ich budowę. Często osobiście sprawdzał postępy prac i zawoził budowniczemu znaczną ofiarę na budowę.

W celu pogłębienia wykształcenia duchowieństwa założył we Włocławku w 1975 r. Studium Teologii, przemianowane w 1983 r. na Instytut Teologiczno-Pastoralny. Dla spopularyzowania i pogłębiania wiedzy religijnej powołał do życia Instytut Wyższej Kultury Religijnej dla osób świeckich. W celu uporządkowania prawodawstwa diecezjalnego 4 V 1986 r. zwołał II Synod Diecezji Włocławskiej, którego dokumentów, przed niespodziewaną śmiercią, nie zdołał podpisać. Podobnie jak nie doczekał się beatyfikacji męczennika II wojny światowej sufragana włocławskiego bp. Michała Kozala, w której przygotowanie włożył wiele trudu.

Włocławska katedra była przedmiotem jego szczególnej troski. Skrupulatnie przewodniczył w niej wielu uroczystościom, nie tylko tym, do których zobowiązywało biskupa diecezjalnego prawo kanoniczne.

Mobilizował kolejnych proboszczów katedralnych − ks. Jana Pawła Grajnerta (1961–1984) i ks. Józefa Arabskiego (1984–1988) do efektywnego prowadzenia prac restauracyjnych (ich efekty można oglądać do dziś) oraz wspierał je swoim autorytetem i finansowo (m.in. wprowadził specjalny podatek na potrzeby katedry). Najpierw wykonano prace restauracyjne w prezbiterium i przylegających zakrystiach. Dokończono prace adaptacyjne kaplicy Najświętszego Sakramentu, utworzonej z części zakrystii południowej, podjęte przez jego poprzednika, bp. A. Pawłowskiego. Bp Zaręba poświęcił tę kaplicę i konsekrował ołtarz 24 sierpnia 1969 r. Następnie przeprowadzono restaurację kaplic św. Marcina i św. Kazimierza oraz kapitularza, a także konserwację niektórych ruchomych obiektów zabytkowych. Osobiście zaangażował się w przeprowadzenie kosztownego przedsięwzięcia pokrycia dachów katedralnych blachą miedzianą i gromadzenia funduszy na ten cel. Nie omieszkał z każdej oficjalnej swojej wizyty w Stolicy Apostolskiej (ad limina Apostolorum) przywieźć jakiś dar dla katedry. Na 50-lecie swego kapłaństwa (1984) ofiarował katedrze  kielich. W ostatnim roku jego życia rozpoczęto czasochłonne i kosztowne prace związane z konserwacją zabytkowej (z początku XX wieku) polichromii w prezbiterium i nawach.

Zmarł 22 listopada 1986 r. Obrzędy pogrzebowe były sprawowane w katedrze na tle rusztowań opinających całe prezbiterium, z racji prowadzonych właśnie prac konserwatorskich przy polichromii. Został pochowany w katedralnej krypcie biskupów włocławskich. W nawie głównej katedry znajduje się poświęcone mu epitafium (odlew w brązie, z medalionem portretowym – projekt W. Marciniaka), ufundowane w 1990 r. przez jego następcę, bp. Henryka Muszyńskiego, które przypomina, że biskup Zaręba to: „Wierny pasterz, nieustraszony obrońca Kościoła, budowniczy wielu świątyń”.

Na podstawie: Włocławski słownik biograficzny, t. 1, Włocławek 2004, s. 185–186.

W posłudze biskupiej Jana Zarębę wspomagali biskupi pomocniczy: bp Kazimierz Majdański (19 XI 1962 – 1 III 1979), późniejszy biskup szczecińsko-kamieński; bp Czesław Lewandowski (16 II 1973 – 16 VIII 2009); bp Roman Andrzejewski (14 XI 1981 – 7 VII 2003).