Родился в селе Борки Липецкой области в семье плотника.
Учился в сельской школе, рано освоил игру на балалайке, домре, гитаре.
За участие в художественной самодеятельности получил подарок — скрипку.
Совершенствование игры на этом инструменте продолжалось в Воронежском музыкальном училище.
Великая Отечественная война (1941-1945) застаёт Ф. Гольцова на четвёртом курсе. Призванный в армию, молодой музыкант руководит военным ансамблем в г. Горьком.
В 1945 г. после демобилизации — учёба в Саратовской консерватории на дирижёрско-хоровом и оркестровом отделениях.
Окончив в 1950 г. консерваторию, поступил на работу в Курское музыкальное училище — преподаватель теоретических дисциплин.
В это время начали проявляться его композиторские способности. В общении с художественной самодеятельностью рождается сборник обработок курских хороводных песен, наибольший интерес из которых представляют "Тимоня", "Заюшка", "Колесо". Песни "Курская дуга" (первая премия конкурса, посвящённого 50-летию Курской битвы), о Железногорске, о тружениках заводов, резинотехнических изделий, "Аккумулятор", "Волокно" захватывают даже неискушённого слушателя ярким мелодизмом, самобытностью стиля, темпераментом.
Наделённый лирическим даром, композитор ищет в стихах мысли и чувства, созвучные своему восприятию мира.
Большинство слов его песен принадлежит курянам Устиновой, Г. Михайлову, З. Стрекаловой, В. Лазареву, Б. Дубравину, Г. Иванову, А. Сальникову, Ю. Лебедеву.
Некоторые сочинения Ф.В. Гольцова стали настолько популярными, что слушатели считают их народными, например, "Перепелка", "Вьётся стежка".
Большой изобретательностью и вкусом отличаются его сочинения для детей. В них - радостное настроение, кипучая энергия, тонкий юмор. Они разнообразны и в жанровом отношении. Пропагандистами этих произведений выступают сами школьники.
Есть у Ф.В. Гольцова и музыка к драматическим произведениям — "Человек и волк", "О тех, кто любит", "Тайна Черного озера".
Много писал Ф. Гольцов для Курского народного хора. Это песни "Край любимый", "Россия моя", "Ой, соловей".
Гольцев-композитор неотделим от Гольцева-дирижёра. На протяжении ряда лет работал с Суджанским академическим хором, за что удостоен звания лауреат Всероссийского смотра народного творчества. Приняв эстафету от Л.И. Ингоря, в 1968-1980 гг. руководил ансамблем песни Дома культуры железнодорожников и Дворца пионеров.
Под его руководством коллектив Дома культуры железнодорожников, насчитывавший около 100 человек, почти ежегодно выступал в Москве, о чём свидетельствует множество Почётных грамот.
В качестве главного дирижера Ф.В. Гольцов неоднократно выступал на больших театрализованных праздниках песни в Курске и Судже.
Скончался в Курске. Похоронен на Северном кладбище.
Награды: медаль ордена «За заслуги перед Отечеством» II степени (1999).
И. Ю. Татарская.