Родился в 1920 г. в с. Умыган Тулунского района. Окончив семилетнюю школу, работал в колхозе, на лесоразработках в с. Иргей Нижнеудинского района. В октябре 1940 г. призван в армию. Служил поваром в 148-м строительном батальоне Тихоокеанского флота. Окончил школу младших командиров в 1941 г.
Участник обороны Заполярья и ряда десантных операций на побережье Баренцева моря.
Воевал в составе 125-го полка морской пехоты Северного флота. Помощник командира взвода старший сержант Каторжный в ночь с 12 на 13 октября 1944 года в составе десантного отряда участвовал в захвате порта Линахамари — крупного опорного пункта противника на подступах к населенному пункту Петсамо (ныне поселок городского типа Печенга). В бою заменил выбывшего из строя командира взвода и умело руководил действиями подразделения. Взвод под его командованием уничтожил 13 огневых точек, захватил 3 причала порта и укрепленное здание гостиницы порта. Водрузил Красный флаг над портом.
5 ноября 1944 года за мужество и героизм, проявленные в боях с немецко-фашистскими захватчиками, старшему сержанту Каторжному Ивану Павловичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
После войны продолжил службу в ВМФ. В 1950 г. окончил курсы политсостава при военно-морском политическом училище. С 1961 г. майор Каторжный — в запасе. Жил в г. Калинине (г. Тверь). Умер 15 ноября 1982 года. Награждён орденом Ленина, Красного Знамени, Красной Звезды, медалями. Почётный моряк порта Линахамари.