Gården er et af de væsentligste rokokohuse udenfor hovedstaden og stammer antageligt fra 1761. Den bevarede facade ud mod Algade domineres af et rigt udsmykket indgangsparti i tre fag kronet af en gavlkvist med frontispice. Den beherskede reliefagtige udsmykning af facaden med ørelisener, refendfugning og attisk båndslyng er karakteristisk for perioden.
I 1980’erne var Kongegården i fremskredet forfald, men Korsør Kommune gik ind og startede en omfattende restaurering, der blev færdig i 1997, hvor stedet blev til et regionalt center for kunst og musik, klar med udstillingslokaler, en fast samling af kunstneren Harald Isenstein samt en koncertsal. De forhåndenværende driftsmidler har dog ikke rakt til løbende vedligehold, hvilket betyder, at der er et stort efterslæb. Der skal både arbejdes på facaden, vinduerne, gulve, veranda og skorsten.