Родился 2.01.1911 в деревне Нижние Лихоборы (ныне в черте Москвы) в семье крестьянина. Русский. Член КПСС с 1938. Окончил неполную среднюю школу.

В Советской Армии с 1928. Окончил военно-теоретическую школу ВВС в Ленинграде в 1930, Борисоглебскую военную школу летчиков в 1931. Был летчиком, командиром звена и отряда истребителей.

Участник национально-революционной войны испанского народа 1936—39, сбил 6 самолетов противника.

За боевые подвиги и проявленное мужество и героизм 31.12.36 старшему лейтенанту Рычагову присвоено звание Героя Советского Союза.

В 1937—38 командовал советской авиацией в Китае.

С 1938 командующий ВВС и член Военного совета Приморской группы войск Дальневосточного фронта и 1-й Отдельной Краснознаменной армии.

Участник боев у озера Хасан в 1938 и советско-финляндской войны 1939—40.

Генерал-лейтенант авиации (1940) Рычагов был заместителем и 1-м заместителем начальника ВВС РККА, затем начальником управления ВВС РККА.

С февраля 1941 заместитель наркома обороны СССР. Депутат Верховного Совета СССР 1-го созыва.

Награжден 2 орденами Ленина, 3 орденами Красного Знамени.

Необоснованно осужден.

28.10.1941 погиб.

23.7.1954 реабилитирован. Именем Героя названа улица в Москве.