Родился в дворянской семье в с. Стаканово Щигровского уезда Курской губернии (ныне Черемисиновского р-на Курской области), крещён — в Курске в Михайловской церкви.
По окончании Курского реального училища поступил в Петербургский морской кадетский корпус, откуда в 1884 г. выпущен мичманом.
В 1890 г. продолжил военно-морскую специализацию в минных офицерских классах в Кронштадте и получил назначение на флагман русской Средиземноморской эскадры — броненосец «Император Николай I», где произведён в лейтенанты. На броненосце «Император Николай I» А. Сергеев нёс службу три с половиной года.
В октябре 1893 г. участвовал в дружественном визите Средиземноморской эскадры во Францию, сыгравшем особую роль в становлении Русско-Французского союза.
Во время визита награждён французским орденом Почётного Легиона Кавалерского креста.
Дальнейшая служба А. Сергеева проходила на Балтике в Петербургском отряде — командир малых минных кораблей — миноносок и номерных миноносцев.
9 января 1904 г., перед самым началом Русско-японской войны, лейтенант Сергеев переведён на Тихий океан в эскадру, базирующуюся в Порт-Артуре, командиром эскадренного миноносца «Стерегущий».
Вечером 25 февраля 1904 г. «Стерегущий» по приказу адмирала Макарова вышел в разведывательное плавание, а утром следующего дня эсминец, возвращаясь на базу Порт-Артур, перехвачен и атакован четырьмя японскими кораблями, к которым потом присоединились ещё два лёгких крейсера.
Миноносец более часа вёл неравный бой с шестью японскими кораблями, серьёзно повредив 2 миноносца врага, а сам в результате прямого попадания в машинное отделение полностью лишился хода. Когда орудия «Стерегущего» замолчали, то взору японцев предстал лишь разрушенный остов корабля, без труб и мачты, с искорёженными бортами и палубой, усеянной телами его моряков. Живыми обнаружены четыре человека. В течении часа корабль затонул. Точные координаты места не известны до сих пор.
О трагической судьбе «Стерегущего» писали все российские газеты.
В журнале "Нива" напечатана статья о последнем бое «Стерегущего» и несколько рисунков очевидцев.
Русское правительство выделило средства на изготовление и установку в Санкт-Петербурге, памятника погибшим морякам. Скульптор К. Изенберг изготовил памятник из меди старинных пушек.
10 мая 1911 г. в Александровском парке состоялось его открытие в присутствии императора Николая II и вдовы Наталии Павловны Сергеевой.
В марте 1904 г. адмирал Ямамото, на запрос в Морское министерство в Токио Наталии Павловны о судьбе её мужа, отписал: "Изъявляю глубокую симпатию всему экипажу русского миноносца «Стерегущий», который выказал храбрость и решительность в бою против нашего более сильного отряда".
В 1905 г. в память о Сергееве заложен эсминец «Лейтенант Сергеев», вступивший в 1908 г. в строй императорского флота на Дальнем Востоке.
Позднее эсминец перевели во флотилию Северного Ледовитого океана. (до середины 1924 г. находился в составе Красного флота СССР).
В 1910 г. д. Стаканово Курской губернии, отец лейтенанта Сергеева в память о двух погибших на войне сыновьях (второй сын, офицер-артиллерист) поставил церковь.
Награды: орден Почётного легиона Кавалерского креста (Франция 1893), орден Св. Станислава III ст. (1895), Св. Анны III ст. (1898), медаль "В память царствования императора Александра III" (1896).
В 1940 г. интересовался биографией А.С. Сергеева. посетивший Курск писатель А.С. Новиков-Прибой.
В тоже время вышла в свет книга А.С. Степанова "Порт-Артур" (гос. премия 1946 г.). Несколько эпизодов из неё посвящены лейтенанту Сергееву.
В 1984 г. в Курске, в память о А.С. Сергееве названа новообразованная улица в Северо-западном микрорайоне Центрального округа, установлен памятный знак на Михайловской церкви (1997).
В 1998 г. школа в д. Стаканово Черемисиновского р-на стала носить имя А.С. Сергеева.
В 1994 г. писатель А.А. Харитановский опубликовал роман "Господа офицеры", главный герой которого, лейтенант А. С. Сергеев.
4 марта 2004 г. открыта мемориальная доска на здании школы № 18, носящей его имя. В фойе школы установлен памятник (бюст) работы В. Клыкова.
Наиболее полные материалы о Сергееве имеются в краеведческом музее п. Черемисиново.
2 октября 2015 г. на ул. К. Либкнехта в Курске, где когда-то стоял дом Сергеевых, установлен памятный знак.