Należy krytyków literackich piszących o polskiej poezji współczesnej, zwłaszcza o zjawiskach najnowszych. Rozpatruje twórczość poetycką w łączności z rzeczywistością społeczno-polityczną. Jest jednym z komentatorów literatury pojmowanej jako dialog z rzeczywistością i twórców map współczesnych prądów w polskiej poezji. Autor licznych szkiców zarówno w prasie specjalistycznej, jak i ogólnopolskich pismach kulturalnych i społeczno-politycznych. Kaczmarski wyraziście zabiera głos w dyskusjach dotyczących roli poezji i krytyki literackiej jako narzędzi społecznego zaangażowania. Zajmują go także związki literatury z ekonomią.
Jego rola krytyka i komentatora literatury nierzadko wiąże się też ściśle z funkcją współanimatora wielu inicjatyw twórczych: między innymi wraz z krytyczką Martą Koronkiewicz zredagował antologię młodej polskiej poezji pt. Zebrało się śliny (2016), a także w latach 2014–2015 pełnił funkcję dyrektora Międzynarodowego Festiwalu Młodej Poezji „Mikrofestiwal”. Współredaguje „8. Arkusz”, dodatek do miesięcznika „Odra” poświęcony młodej poezji. Wraz z Martą Koronkiewicz i Lynnem Suh redagował czasopismo „WIDMA”, poświęcone nowej polskiej i amerykańskiej poezji. Również w duecie z Martą Koronkiewiecz na łamach „Odry” prowadził rozmowy z polskimi i zagranicznymi poetami współczesnymi.
Wydał książki krytycznoliterackie Wysoka łączliwość. Szkice o poezji współczesnej (2018) i Oporne komunikaty. Strategie znaczenia w poezji współczesnej. Współtłumaczył książki Guya Standinga poświęcone prekariatowi i dochodowi podstawowemu. Komentował poezję takich polskich poetów i poetek jak Szczepan Kopyt, Tomasz Pułka, Jerzy Jarniewicz, Konrad Góra, Ilona Witkowska, Kira Pietrek. Teksty Pawła Kaczmarskiego ukazywały się między innymi w „Ricie Baum” „FA-arcie”, „Odrze”, „Arteriach”, „Tygodniku Powszechnym”, „Nowym Obywatelu”, „Nowym Napisie”, „Twórczości”, „Tyglu Kultury”, „Małym Formacie”, Magazynie Literackim „biBlioteka”.