Pochodził z rodziny o żydowskich korzeniach, dlatego też na początku drugiej wojny światowej trafił z rodziną do pruszkowskiego getta, a po jego likwidacji do warszawskiego. Stąd uciekł z matką w 1943 roku dzięki pomocy zespołu Ireny Sendlerowej. Po kolejnych pobytach w sierocińcach i domach zakonnych w Radziwiłłowie, Otwocku, Czersku i Warszawie trafił do zakładu opiekuńczego Zgromadzenia Sióstr Służebniczek Najświętszej Marii Panny w Turkowicach pod Hrubieszowem; wspomina te czasy w książce Czarne sezony. Po wojnie wrócił do Pruszkowa, gdzie ukończył szkołę. Od 1951 studiował polonistykę na Uniwersytecie Warszawskim, a po uzyskaniu magisterium pracował na uczelni naukowo. W 1958 roku został asystentem w Instytucie Badań Literackich Polskiej Akademii Nauk.
W 1961 roku uzyskał stopień doktora nauk humanistycznych (Poetyka Tuwima a polska tradycja literacka), w 1967 roku habilitował się na podstawie rozprawy Cykl studiów z historii i teorii polskiej powieści, w 1969 roku otrzymał stanowisko docenta, w 1976 roku tytuł profesora, a w 1986 roku został profesorem zwyczajnym. Był członkiem Związku Literatów Polskich (1963‒1983), członkiem komitetu redakcyjnego „Pamiętnika Literackiego”, kierownikiem Pracowni Poetyki Historycznej IBL (1971‒1991), przewodniczącym Komitetu Redakcyjnego serii wydawniczej Komitetu Nauk o Literaturze Polskiej PAN Rozprawy Literackie, należał do rady redakcyjnej wydawnictwa IBL „Literary Studies in Poland”, był członkiem Komitetu Nauk o Literaturze Polskiej PAN (od 1978), współzałożycielem i członkiem Towarzystwa Kursów Naukowych (1978‒1981), członkiem Stowarzyszenia Pisarzy Polskich. W latach 1973‒1974 wykładał na uniwersytecie w Amsterdamie. 20 sierpnia 1980 podpisał list intelektualistów (tak zwany Apel 64) do władz PRL w sprawie podjęcia rozmów ze strajkującymi stoczniowcami. Działał też w Niezależnym Samorządnym Związku Zawodowym „Solidarność” w IBL PAN. W latach 1981‒2006 wchodził w skład Rady Naukowej IBL, także jako jej przewodniczący. W 2004 roku zorganizował w IBL Zespół Literatura i Konteksty, którym kierował przez trzy lata.
W pracy naukowej interesował się teorią literatury oraz historią literatury XX wieku. Ma na swoim koncie wiele prac naukowych, które inspirowały całe pokolenia polonistów. Zainteresowania badawcze Głowińskiego są bardzo rozległe – zajmował się on między innymi badaniami historii i teorii form narracyjnych (Powieść młodopolska), pisał o języku poetyckim (Zaświat przedstawiony. Szkice o poezji Bolesława Leśmiana) czy komunikacji literackiej (Style odbioru). Ważne miejsce w dorobku Głowińskiego zajmują analizy językowych mechanizmów propagandy PRL-owskiej (na przykład Nowomowa po polsku). Opracował także wiele utworów literatury polskiej, był redaktorem kilkunastu antologii i zbiorów rozpraw (często we współpracy z Januszem Sławińskim), a także współautorem i redaktorem słowników i leksykonów, w tym Słownika terminów literackich. Studia, artykuły i recenzje publikował między innymi w „Życiu Literackim”, „Twórczości”, „Literaturze”, „Tekstach”, „Almanachu Humanistycznym”, „Tekstach Drugich” (stała współpraca), „Dekadzie Literackiej”, „Akcencie”, „Wielogłosie”, „Tekstualiach”, „Tygodniku Powszechnym” i „Gazecie Wyborczej”.
Od końca lat 90. XX wieku skupił się przede wszystkim na pisaniu prozy wspomnieniowej przedstawiającej historie polskich Żydów (Czarne sezony, Magdalenka z razowego chleba, Historia jednej topoli, Kładka nad czasem. Obrazki z Miasteczka). Jego proza jest w dużej mierze autobiograficzna, ale jednocześnie przebija przez nią wzorzec losu wspólny dla całej formacji pokoleniowej. Jest przejmującym świadectwem czasów, w których szalała „historia spuszczona z łańcucha”, lat okupacji, którą cudem przeżył jako dziecko, a potem totalitaryzmu epoki stalinowskiej, gdy dorastał. Myliłby się jednak ten, kto by twierdził, że żywiołem tej prozy są jedynie historia i polityka. Głowińskiego zajmują głównie doświadczenia prywatne, nawet – intymne; wspomina lata dzieciństwa i młodości, portretuje bliskich mu ludzi i miejsca, daje przypisy do sagi rodzinnej, która nie miała szansy powstać. Powodem tego podejścia jest – jak zauważa pisarz w Historii jednej topoli – to, że „Nie można pisać sagi rodzinnej, która byłaby opowieścią o zniknięciu pewnego świata, o jego fizycznym końcu”. A jednocześnie próbuje ocalić w opowieści Miasteczko, miejsce znajdujące się w centrum prywatnego uniwersum, snując przy okazji rozważania na temat mechanizmów działania pamięci i sposobów jej literackiej reprezentacji.
Wiele z jego książek i rozpraw zostało przełożone na języki obce, zarówno w tomach osobnych, jak i w czasopismach naukowych i tomach zbiorowych. Publikował także artykuły naukowe w językach obcych. Otrzymał tytuł doktora honoris causa Uniwersytetu Jagiellońskiego w Krakowie (2000), Uniwersytetu im. Adama Mickiewicza w Poznaniu (2001), Uniwersytetu Opolskiego (2003), Uniwersytetu Kazimierza Wielkiego w Bydgoszczy (2018). W 1986 dostał nagrodę Fundacji im. A. Jurzykowskiego w Nowym Jorku. Był także laureatem nagrody im. K. Wyki za twórczość krytycznoliteracką (2002), nagrody im. J.G. Herdera za całość dorobku naukowego (2004), nagrody literackiej polskiego PEN Clubu im. J. Parandowskiego (2008), Łódzkiej Nagrody Literackiej im. J. Tuwima (2016). Otrzymał też odznakę „Zasłużony Działacz Kultury”, a także Złoty Medal „Zasłużony Kulturze Gloria Artis” (2007) i Krzyż Oficerski Orderu Odrodzenia Polski (2013).