Родился 2.11.1908 в поселке Песковка, ныне пгт Омутнинского района Кировской области, в семье рабочего. Русский. Член КПСС с 1929. Окончил 7 классов, школу ФЗУ, в 1929 — совпартшколу. Был секретарем райкома комсомола, председателем колхоза.

В Советской Армии с 1930. В 1936 окончил Оренбургскую военно-авиационную школу летчиков, в 1938 — курсы комиссаров-летчиков.

Участник советско-финляндской войны 1939 —40.

Военный комиссар 50-го скоростного бомбардировочного авиационного полка (18-я скоростная бомбардировочная авиационная бригада, 7-я армия, Северо-Западный фронт) батальонный комиссар Костылев совершил 44 боевых вылета. Умело организовал парт-политработу, мобилизуя личный состав на успешное выполнение боевых задач при прорыве главной линии обороны противника.

Звание Героя Советского Союза присвоено 21.3.40.

Участник Великой Отечественной войны с июня 1941.

После ранения был заместитель командира по политчасти авиационного полка. Испытал 11 типов самолетов. С 1953 полковник Костылев — в запасе.

Награжден орденом Ленина, 2 орденами Красного Знамени, 2 орденами Отечественной войны 1 степени, орденом Красной Звезды, медалями.