Ukończył filologię polską na Uniwersytecie Łódzkim, pracował w Instytucie Badań Literackich PAN w Warszawie; w 1994 roku uzyskał tytuł profesora.
Przedstawiciel i teoretyk neoklasycyzmu w literaturze polskiej, kierunku artystycznego nawiązującego do szeroko pojmowanej tradycji antycznej, znajdującej kontynuację w sztuce nowożytnej. Swój program poetycki wyłożył między innymi w zbiorze szkiców z 1967 roku Czym jest klasycyzm. U podstaw jego twórczości leżało przekonanie o jedności i ciągłości sztuki i kultury (współistnienie dzieł dawnych i współczesnych), czerpie z archetypów, toposów i mitów kultury śródziemnomorskiej. Nicuje wyobraźnię romantyczną, romantyczne mity i stereotypy; wyjąwszy dwa tomy z lat 80. XX wieku, gdzie nawiązuje bezpośrednio do tradycji romantycznej liryki patriotycznej.
Zasadniczym źródłem inspiracji był jednak dla niego barok, zwłaszcza ówczesna poezja metafizyczna i dewocyjna, kumulująca się w twórczości ks. Józefa Baki. Rymkiewicza interesowało życie duchowe zwłaszcza w jego wymiarze pośmiertnym, „zaświatowym”, stąd w jego utworach częste motywy makabry i demonizmu, traktowane zresztą niezwykle trzeźwo i nie bez humoru. Śmierć, rozkład stanowi ową thema regium, królewski temat, któremu poeta poświęca niezliczone wariacje i kontrapunkty. Innym tematem wszechobecnym w tej twórczości jest muzyka, traktowana jako niedościgły wzór, najbliższy światu czystych esencji. Poeta podejmuje częstokroć dialog z tradycją filozoficzną, jego ulubionym „adwersarzem” jest Edmund Husserl. Formalny wyróżnik wierszy Rymkiewicza stanowi parzyście rymowany trzynastozgłoskowiec – wiersz ulubiony zarówno przez poetów polskiego baroku, jak i przez Adama Mickiewicza.
W swojej prozie Rymkiewicz oddawał nastroje polskich intelektualistów w okresie po stanie wojennym (Rozmowy polskie latem roku 1983, 1984), a także opisuje wyjątkowo dramatyczny epizod likwidacji warszawskiego getta w czasie drugiej wojny światowej (Umschlagplatz, 1988).
Współautor encyklopedii życia i twórczości Adama Mickiewicza (Mickiewicz. Encyklopedia, 2001), Bolesława Leśmiana (Leśmian. Encyklopedia, 2001) i Juliusza Słowackiego (Słowacki. Encyklopedia, 2004). Opublikował też liczne szkice historyczne (jak choćby Wielki Książę z dodaniem rozważań o istocie i przymiotach ducha polskiego, 1983) i historycznoliterackie (na przykład Adam Mickiewicz odjeżdża na żółtym rowerze, 2018). Tłumaczył głównie poezję anglo-amerykańską (T. S. Eliota, W. H. Audena, W. Stevensa) i hiszpańską (F. G. Lorcę, P. Calderóna de la Barcę).
Laureat licznych nagród, między innymi: Fundacji im. Kościelskich w Genewie (1967), im. S. Vincenza w Krakowie (1985), nagrodę literacką im. Z. Hertza, przyznaną przez paryską „Kulturę” (1987). W 1989 roku otrzymał nagrodę literacką ZAiKS-u dla tłumaczy. Finalista Nagrody Literackiej „Nike” 2000 za tom Znak niejasny, baśń półżywa, nominowany do tej nagrody w latach 2002, 2005 i 2011, w 2003 roku został jej laureatem za tom wierszy Zachód słońca w Milanówku. W 2008 otrzymał Nagrodę Literacką im. Józefa Mackiewicza za książkę Wieszanie. Za tę samą książkę nominowany do Nagrody Literackiej Gdynia 2008, ponownie nominowany w 2011 roku za tom Samuel Zborowski. W 2010 roku został odznaczony Złotym Medalem „Zasłużony Kulturze Gloria Artis”.
W kwietniu 2015 roku został laureatem Nagrody Literackiej m.st. Warszawy w kategorii „Warszawski twórca” (za całokształt twórczości), ale odmówił przyjęcia nagrody (100 tys. zł), która została w tych okolicznościach przeznaczona na stypendia dla młodych literatów. Finalista Nagrody Poetyckiej Orfeusz w 2015 za tom Pastuszek Chełmońskiego, a w 2016 laureat za tom Koniec lata w zdziczałym ogrodzie. Laureat Nagrody Literackiej im. Juliana Tuwima w 2015 roku za całokształt twórczości. Laureat Dorocznej Nagrody Ministra Kultury i Dziedzictwa Narodowego za całokształt twórczości.