Родился в городе Броды в 1894 году в еврейской семье, которая была частью большой ортодоксальной общины. Отец, Нохум Рот, был неудачным коммивояжёром, страдал психическим заболеванием и умер уже в 1910 году. Йозеф воспитывался матерью Марией (Мирьям), урождённой Грюбель, и дедом Иехиелем Грюбелем.
Учился во Львовском, а затем в Венском университете, в 1916 году ушёл на фронт, участвовал в Первой мировой войне.
После войны, начиная с 1918 года работал журналистом в газетах Берлина и Франкфурта, к 1920 году стал известным журналистом, работал в газетах до 1933 года. Первое крупное прозаическое произведение «Паутина» публиковалось частями в австрийских газетах и не имело большого успеха. Толчком к роману послужили убийство Ратенау и покушение на редактора М. Хардена. В книге Рот описал круги крайне правых ветеранов войны, готовящихся к захвату власти и установлению режима террора. С необычной прозорливостью он назвал имена Гитлера, Гинденбурга и Людендорфа.
В 1922 году женился на Фридерике Рейхлер. Брак носил трагический характер — в начале тридцатых годов ей был поставлен диагноз шизофрения, а в 1940 году уже после смерти мужа её, как душевнобольную, убили нацисты.
В 1924 году Рот издал «Отель Савой» и «Восстание» отдельными изданиями. В 1926 году совершил длительную поездку по СССР. В 1932 году был закончен самый длинный и самый известный роман Рота «Марш Радецкого» с сильными элементами ностальгии по Австро-Венгрии времен Франца-Иосифа.
После прихода нацистов к власти в 1933 году Рот немедленно эмигрировал во Францию. В письме Стефану Цвейгу сразу после нацистского переворота Рот снова проявил правильное понимание ситуации: «Приближается война. Не обольщайте себя. Ад пришел к власти».
Во Франции Рот написал ещё несколько книг, в частности, «Легенда о святом пропойце» (1939), где, по-видимому, отразилось увлечение автора алкоголем и трудные жизненные обстоятельства. Серьёзно интересовался католицизмом, но надёжных данных о крещении нет. В мае 1939 года, узнав о самоубийстве своего друга, Эрнстa Толлерa, Йозеф Рот рухнул на землю и вскоре скончался.
