Od lat 20. XX wieku publikował artykuły w prasie, współpracował z wydawanym przez jego brata Stanisława wileńskim „Słowem”. W tym czasie ukazały się też jego zbiory nowel oraz powieść. Zajmowały go tematy społeczne i polityczne, zwłaszcza kwestia Kresów Wschodnich. W czasie drugiej wojny światowej pracował fizycznie.
Był autorem powieści, opowiadań, reportaży i książek historycznych, a także zaciekłym antykomunistą. Uprawiał pisarstwo oparte na źródłach, dokumentach i relacjach naocznych świadków. Był pisarzem historycznym, lecz zamiast pisać o odległej przeszłości, opowiadał o wydarzeniach, które pozostawały w bezpośrednim związku z jego biografią albo doświadczeniami jego znajomych. Taka metoda pozwoliła mu napisać jego najważniejsze powieści, do których należą: Droga donikąd (1955), Kontra (1957), Sprawa pułkownika Miasojedowa (1962), Lewa wolna (1965) czy Nie trzeba głośno mówić (1969). Jednymi z głównych tematów twórczości Mackiewicza były rozpad wielonarodowej wspólnoty na terenach byłego Wielkiego Księstwa Litewskiego, nacjonalizmy poszczególnych narodów wchodzących w jego skład, a także dzieje sowieckiej i niemieckiej okupacji wschodnich terenów II Rzeczypospolitej. Innym ważnym dla pisarza tematem był rosyjski komunizm, który bezwarunkowo potępiał. W 1943 roku na zaproszenie niemieckie i za zgodą polskich władz podziemnych udał się do Katynia, gdzie przeprowadzano ekshumację zwłok rozstrzelanych oficerów, jako obserwator. Pobyt ten sprawił, że ujawnienie prawdy o zbrodni katyńskiej stało się dla niego ważne, poświęcił temu szereg książek.
Od 1944 roku przebywał na emigracji: najpierw w Londynie, a od 1955 roku aż do śmierci w Monachium, gdzie mieszkał razem z żoną Barbarą Toporską. Współpracował z londyńskimi „Wiadomościami” oraz paryską „Kulturą”. Jako bezkompromisowy krytyk komunizmu w PRL był objęty zapisem cenzury. W latach 80. XX wieku dzięki drugoobiegowym publikacjom swoich książek stopniowo zyskiwał rozpoznawalność wśród polskich czytelników.
Mackiewicz twierdził, że w XX wieku podział na literaturę faktu i literaturę fikcjonalną stracił rację bytu. Dlatego też łączył ze sobą obydwie, starając się w ten sposób pozbyć ograniczeń w poszukiwaniu prawdy. Uważał bowiem, że „tylko prawda jest ciekawa”.
Józef Mackiewicz był laureatem wielu nagród emigracyjnego środowiska literackiego. Otrzymał między innymi w 1961 roku Nagrodę im. Herminii Naglerowej Związku Pisarzy Polskich na Obczyźnie, nagrodę londyńskich „Wiadomości” w konkursie na szkic (1964) oraz za artykuły z roku 1968. Był też laureatem Nagrody Fundacji Alfreda Jurzykowskiego w dziedzinie literatury. W 1981 roku paryska „Kultura” przyznała mu nagrodę im. Zygmunta Hertza (której nie przyjął). W 1971 roku został odznaczony przez prezydenta RP na uchodźstwie Augusta Zaleskiego Krzyżem Komandorskim Orderu Polonia Restituta.