Родился в Курске в семье офицера- дворянина.
Окончил Александровское военное училище в Москве.
В 1897 г., получив богатое наследство, вышел в отставку и поселился в Москве.
Внёс средства на организацию "Общества содействия устройству общедоступных народных развлечений". В это общество входили режиссеры К. С. Станиславский и В. И. Немирович-Данченко, писатели В. А. Гиляровский и Т. Л. Щепкина-Куперник, меценаты П. М.Третьяков и С. Т. Морозов.
Скирмунт состоял также членом комитета "Общества для доставления средств высшим женским курсам". Это позволяло ему постоянно находиться в самой гуще московской интеллигенции.
В марте 1900 г. произошло его знакомство с А. М. Горьким, перешедшее впоследствии в дружбу.
Писатель оказал большое влияние на формирование взглядов и направление деятельности Скирмунта.
В том же году Скирмунт возглавил издательство "Труд", организованное им на паях с публицистом В. А. Крандиевским.
Заслуженной популярностью пользовался изданный Скирмунтом альбом "Галерея русских писателей" с 250 портретами и краткими критико-биографическими очерками.
Крупный успех выпал и на долю изданных им переводов произведений скандинавской литературы, благодаря чему романы, повести и рассказы К. Гамсуна, А. Стриндберга, Х. Драхмана и др. шведских, норвежских и датских авторов получили известность у российских читателей.
В мае 1902 г. арестован, т. к. полиция нашла у него нелегальную литературу. Следствие установило связь арестованного с "Заграничной лигой социал-демократической партии".
В августе 1903 г. сослан на 5 лет в Олонецкую губернию, но в октябре 1904 г. возвратился оттуда по амнистии.
После этого издательская деятельность Скирмунта приобрела еще более выраженную политическую направленность, теснее стала связь с социал-демократами.
В годы первой русской революции (1905—1907) издательство "Труд" начало выпуск "Дешёвой библиотеки", куда вошли десятки брошюр политического содержания, в том числе работы К. Маркса, Ф. Энгельса, П. Лафарга, И. Дицгена.
Наряду с издательством Скирмунт создал книготорговую фирму под тем же названием. Через его магазины в Москве и Петербурге распространялась социал-демократическая литература, на складах хранились нелегальные издания, там часто скрывались от полиции подпольщики.
Кульминации политическая деятельность Скирмунта достигла в конце 1905 г., когда он взялся за издание легальной большевистской газеты "Борьба", в которую он вложил основные средства.
Его кандидатуру как редактора предложил А. М. Горький. Однако выпущено было только 9 номеров, причём три из них - уже после ареста редактора.
Последний номер вышел с воззванием "Ко всем рабочим, солдатам и труженикам!", призывавшим к всеобщей политической стачке и вооруженному восстанию.
Следствие по делу Скирмунта затянулось почти на 2 года. До суда его выпустили под огромный залог, и за это время предъявили еще одно обвинение.
В ноябре 1907 г. Скирмунта приговорили к 3-летнему заключению в крепость, но ему удалось выехать за границу.
После амнистии в 1915 г. он приезжал на короткое время в Россию, а окончательно возвратился в 1926 г.
В последние годы жизни работал в Народном комиссариате труда, Госторге, Объединении научно-технических издательств.
Н. Ф. Шахов