Родился в с. Приколотном Великобурлукского уезда Харьковской губернии в семье агронома.
С 1932 г. жил в Курске, работал автослесарем в совхозной мастерской, шофёром в совхозе затем в курском сахсвеклотресте.
В 1936 г. по путевке Курского обкома ВЛКСМ направлен на службу в Военно-Морской Флот.
До начала Великой Отечественной войны (1941-1945) служил в Севастополе, учился в электромеханической школе.
В октябре-ноябре 1941 г. участвует в обороне Севастополя.
В 1943 г. — командир роты автоматчиков 384-го отдельного батальона морской пехоты Черноморского флота.
Участвует в боях за г. Ейск, г. Таганрог и г. Мариуполь.
26 марта 1944 г. К. Ольшанский во главе отряда, состоявшего из добровольцев, моряков, сапёров, связистов и проводника, всего 67 человек, высадился в тыл противника в районе с. Ковалёвка, откуда совершили марш-бросок в порт г. Николаева (ныне Украина).
Там, заняв несколько зданий порта, приспособили их к обороне.
Двое суток отряд вёл бой, отбито восемнадцать атак, уничтожено свыше семисот немцев, несколько танков и пушек противника.
Задача по отвлечению сил противника от обороны сухопутного участка фронта была выполнена.
Почти все участники десантной операции погибли. Среди них и ст. лейтенант К. Ольшанский.
Похоронен К.Ф. Ольшанский в братской могиле в г. Николаев.
20 апреля 1944 г. Указом Президиума Верховного Совета СССР, всем участникам десантной операции присвоено звание Герой Советского Союза.
Награды: орден Ленина, орден Красной Звезды, орден Александра Невского.
Ст. лейтенант К. Ольшанский навечно зачислен в списки 384-го отдельного батальона морской пехоты.
В г. Николаев в честь героев-ольшанцев, названы улица и площадь, воздвигнут памятник, открыт Народный музей боевой славы.
Бюст К. Ольшанского установлен, у школы в п. Приколотное и на территории морского порта г. Николаева.
Его имя носят, большой десантный корабль Черноморского флота ВМС Украины и рыболовецкий траулер, улица в посёлке Малая Корениха (ныне пос. Ольшанский) Николаевской области Украины.
Имя К. Ольшанского выбито на Доске памяти в Музее Черноморского флота России в Севастополе.
31 августа 1964 г. в Курске в память об К. Ольшанском названы, улица в Промышленном р-не (ныне Сеймский округ) и средняя школа №39.
Ежегодно проводится Международный турнир по боксу имени К. Ольшанского.