Родился 20.4.1913 в городе Ораниенбаум, ныне Ломоносов Ленинградской области в семье рабочего. Русский. Член КПСС с 1942. Окончил 9 классов, авиашколу Осоавиахима, а в 1934 — Центральную летную школу в городе Тушино Московской области.

В ВМФ с 1939.

Участник советско-финляндской войны 1939 —40.

С началом Великой Отечественной войны на фронте.

Командир звена 3-го гвардейского истребительного авиационного полка (61-я истребительная авиационная бригада, ВВС Балтийского флота) гвардии капитан Костылев к апрелю 1942 совершил 233 боевых вылета, в 59 воздушных боях лично сбил 9 и в группе 34 самолета противника. Уничтожил много живой силы и техники врага.

Звание Героя Советского Союза присвоено 23.10.42.

До 1953 продолжал службу в ВМФ.

Награжден 2 орденами Ленина, 2 орденами Красного Знамени, медалями.

Умер 30.11.1960. Похоронен на мемореальном кладбище защитников ораниенбаумского плацдарма в Ломоносове. Его именем названа улица в Ломоносове.