18. sajandi lõpul ehitatud klassitsistlikus stiilis hoone oli üks suurimaid elumaju toonases Narvas, siis kasutati seda lao- ja eluruumidena. 19. sajandi I poolel omandas hoone Narva komandant parun von Velio, kelle nime järgi ehitist ka tuntakse. 1845. aastal peatus siin keiser Nikolai I. Arhitekt A. Vladovski projekti järgi sai Parun von Velio maja 1916. aastal uue mahu ja välisilme, mis on tänaseni suures osas säilinud.

Maja on üks vanemaid säilinud ehitisi Narva vanalinna territooriumil. Käesoleval ajal tegutseb hoones Narva Vanalinna Riigikool.