В Эстонии Штакельберг продолжал увлеченно заниматься музыкой. Из воспоминаний современников нам известно, что им был создан ряд музыкальных произведений, из числа которых известны следующие: похоронный марш в память о погибших за родину «Mortius plango», «Молитва» в память о великой княжне Ольги Николаевны, «Свадебный марш», посвященный его родственнице принцессе Луизе (урожденной графине Баттенбергской) и шведскому кронпринцу Густаву Адольфу. Несколько пьес он не успел закончить и издать. После смерти Штакельберга родственники издали следующие его произведения, вышедшие в свет в 1927 году в тартуской типографии Х. Лаакмана: «Drei Lieder für eine Singstimme mit Klavierbegleitung von Céesté (Constantin von Stackelberg)» и «Замело тебя снегом, Россия. Для пения с фортепиано. Соч. Сеэсте (Константин Штакельберг)» с посвящением известному певцу Д. А. Смирнову.