Родился в г. Суджа Курской губернии в семье священника.
Образование получил в Курске, обучаясь в гимназии, в духовном училище и семинарии.
В 1907 г. окончил Киевскую духовную академию. Показав отличные знания, удостоен степени кандидата и магистра богословия.
Заведовал древлехранилищем Курской епархии Русской православной церкви, принимал участие в работе Курской губернской учёной архивной комиссии и в деятельности Курского епархиально-исторического общества. Сотрудничает с газетой «Курские епархиальные ведомости», где печатаются его статьи и стихи.
После Октябрьской революции (1917) учительствовал и директорствовал в школах Курска и Воронежа. Внештатный сотрудник Курского губернского музея, спасший от разграбления и сумев пополнить фонды в годы Гражданской войны в России.
С августа 1923 г. — соучредитель и бессменный учёный секретарь Курского губернского общества краеведения (КГОК), руководитель его школьно-педагогической секции. Организовал выпуск краеведческого альманаха «Курский край», а затем и журнала «Известия Курского губернского общества краеведения», выходившего в 1927-1929 гг.
Автор очерков церковной архитектуры Курска; первых в советское время научно популярных обзоров древней и средневековой истории Курского края.
Не претендуя на научную новизну, эти работы отличались полнотой и корректностью изложения историко-археологического материала по местной истории, накопленного в дореволюционной историографии. Организатор и участник археологических разведок и просветительских экскурсий на Ратское, Шуклинское и Белгородское городища ( памятники археологии), этнографических экспедиций по саянским деревням губернии.
Делегат от Курска на II Всесоюзной конференции краеведов.
В 1930 г. по указке Окружного бюро краеведения (Воронеж) исключён из рядов курского краеведческого общества «за связь с религией» (т. е. посещение церковных служб).
В 1931 г. арестован ОГПУ по делу «монархической организации краеведов».
Осуждён на 5 лет лишения свободы. Отбывал срок наказания на строительстве Беломор канала (1934–1937).
В 1944 г. после ссылки в Куйбышевскую область (с. Красная Голинка) вернулся в Курск безнадёжно больным.
Скончался в Курске. Похоронен на Московском (ныне Никитском) кладбище.
Заслуга Г.И. Булгакова заключается в осуществлении преемственности между дореволюционным и советским этапами развития исторического краеведения в Курске.
Его сводные очерки истории, археологии, этнографии и географии Курской земли и поныне (2016) используются курскими краеведами и любителями истории.
Соч:
Заветы древнего церковного зодчества и иконографии. Курск, 1920; Внешний вид Курского Знаменского монастыря. Курск, 1921;
Схематический обзор Курского края в культурно-историческом отношении;
Схематический обзор Курского края в этнографическом отношении // Курский край. Сб. по природе, истории, культуре и экономике Курской губ. Вып. 1. Курск, 1925;
Курск в прошлом // Известия Курского губернского краеведческого общества. 1927. № 1–2; Современный Курск // Известия КГОК. 1927. № 3;
К вопросу об учёте археологических памятников Курского края // Известия КГОК. 1927. № 4; Очередные организационно-методические вопросы краеведческой работы в Курской губернии // Известия КГОК. 1927. № 6.
Ист:
Акиньшин А. Н., Ласунский О. Г. «Дело краеведов» Центрального Черноземья // Отечество. Краеведческий альманах. Вып. 1. М., 1990;
Акиньшин А. Н. Трагедия краеведов (по следам архива КГБ) // Русская провинция. Записки краеведов. Вып. 1. Воронеж, 1992;
Бугров Ю. А. Блаженны чистые сердцем… // Летопись. Курск, 1991. Вып. 1;
Щавелёв С. П. Обречённый арьергард: курские краеведы 1920–1930-х гг. и разгром провинциальной археологии в Советской России // Юг России в прошлом и настоящем. Белгород, 1996;
Щавелёв С. П. Курское краеведческое общество 1920-х гг. и его археологические работы // Очерки истории отечественной археологии. Вып. 2. Сост. А. А. Формозов. М., 1998;
Щавелёв С. П. «Дело краеведов ЦЧО» 1930–1931 гг. (Курский «филиал»). Курск, 2007.