Urodził się w rodzinie żydowskiej austriackiego pochodzenia w Newark w stanie New Yersey, jego przodkowie przybyli do Stanów Zjednoczonych z terenów Galicji. W 1970 roku ukończył Columbia University na kierunkach filologia angielska i komparatystyka literacka, następnie przez pewien czas mieszkał w Paryżu i pracował jako marynarz na statku handlowym. W 1974 roku wrócił do USA. Tłumaczył na angielski utwory francuskich poetów (między innymi Stéphane’a Mallarmégo i Josepha Jouberta) i prowadził kursy przekładu literackiego. Debiutował jako poeta tomem Unearth (1974), zajmował się także twórczością eseistyczną. Pierwszą powieść (kryminał Nieczyste zagranie) wydał pod pseudonimem Paul Benjamin.
Rozgłos przyniosły mu trzy luźno powiązane ze sobą powieści opublikowane w latach 1985–1986: Szklane miasto, Duchy, Zamknięty pokój, znane pod wspólnym tytułem Trylogia nowojorska. Jej akcja toczy się w ponurych zaułkach tytułowego miasta, po których snują się samotni ludzie obarczeni detektywistycznym zadaniem, najczęściej wbrew swojej woli. Zagadka kryminalna jest tu zaledwie wstępem do rozważań egzystencjalnych o charakterze ogólnoludzkim: akcja każdej z trzech powieści rozgrywa się w atmosferze przypominającej twórczość Franza Kafki i Samuela Becketta. Nowy Jork stanowi tło większości dzieł Austera, który w konstruowaniu swoich utworów często wykorzystywał schemat powieści kryminalnej, ale posługiwał się nim w sposób pastiszowy i postmodernistyczny.
Zajmował się także sztuką filmową. Wyreżyserował między innymi filmy Dym (1995, razem z Wayne’em Wangiem), Lulu na moście (1998), The Inner Life of Martin Frost (1997). Jest autorem scenariusza do Muzyki przypadku, filmu opartego na jego powieści o tym samym tytule. Zasiadał w jury konkursu głównego na 53. MFF w Wenecji (1996) oraz na 50. MFF w Cannes (1997).
