Родился в г. Обоянь Курской области.
Учился в городской школе.
После школы работал слесарем на Обоянской машино-тракторной станции.
В 1948 г. стал лучшим сельским велогонщиком РСФСР, на собранном из металлолома велосипеде и получил приглашение в клуб ЦДКА (г. Москва), связав с этой организацией всю свою спортивную жизнь.
Е.П. Клевцов — неоднократный чемпион СССР по различным видам велосипедных гонок, капитан первой Олимпийской сборной команды велосипедистов, выступавшей на XV Олимпийских играх в столице Финляндии - Хельсинки (1952) и Олимпийской сборной команды велосипедистов на XVII Олимпийских играх в Риме в (1960), где завоевал бронзовую медаль в командной гонке на 100 км.
Е.П. Клевцов стал первым жителем Курской области — медалистом Олимпиады.
После ухода из большого спорта Е.П. Клевцов работал механиком сборной ЦДКА (впоследствии — ЦСКА) и сборной страны.
Скончался в Москве. Похоронен на Митинском кладбище.
Награды: 11 золотых медалей чемпионатов СССР и ряд спортивных наград другого достоинства.
С 15 октября 2019 г. имя Е.П. Клевцова стала носить новая улица в поселке Северный Центрального округа г. Курска.