Budynek, w którym mieści się Hotel "Cesarski", jest jednym z nielicznych w Giżycku, które przetrwały w niemal niezmienionym kształcie od czasów niemieckich.

Solidny, murowany dom, jeden z pierwszych takich w mieście, powstał na tej parceli (nr 4 przy rynku przed wojną) w pierwszej połowie XIX wieku.

Od 1843 roku (do 1871 r.) mieszkał w nim starosta powiatowy (landrat) August Otto Bielitz.

W tym czasie kamienicy nadano wygląd bliski temu, co dziś oglądamy.

Okazałe, dwupiętrowe domostwo, z poddaszem i reprezentacyjną fasadą było na tyle eleganckie, że stało się miejscem przyjmowania koronowanych gości wizytujących miasto.