Его военная служба началась в 1918 году. После окончания военно-агитаторских курсов в Петрограде в 1919-м находился на партийно-политической работе в войсках.
В 1931 году Филипп Иванович окончил Военную академию имени М. В. Фрунзе, после чего занимал различные командные должности — командира полка, дивизии, мехкорпуса, а с 1939 года — 6-й армии. В 1940-1941 гг. он стал начальником Главного Разведывательного управления РККА.
В годы Великой Отечественной войны Ф. И. Голиков командовал 10-й армией, с апреля 1942-го — Брянским, в июле 1942-го Воронежским фронтами.
В период Сталинградской битвы он возглавлял 1-ю гвардейскую армию, которая в сентябре 1942 года в ходе оборонительных боев на северо-западных подступах к Сталинграду нанесла ряд контрударов по прорвавшимся к Волге немецко-фашистским войскам, оказав тем самым большую помощь защитникам города. Позже Ф. И. Голиков был назначен заместителем командующего Юго-Восточным фронтом, а в октябре 1942-го вновь стал командующим Воронежским фронтом, принимавшим участие в разгроме противника на Среднем Дону в декабре 1942 года.
После войны, с 1950 года Ф. И. Голиков командовал отдельной мех. армией. В 1958-м году получил назначение на должность начальника Главного политического управления Советской Армии и ВМФ.