Bygningen på Storgade 25, der omfatter Hotel Postgaarden, stammer helt tilbage til 1664. Læg mærke til det stykke egetømmer, som er indmuret over hotellets indgang. Det gamle skilt kom først til syne igen under en ombygning i 1957. I gamle dage var indgangen en vognport, og selve gæstgiveriet lå i gården – deraf navnet Postgaarden.

I Christian den IV’s tid lå Sorøs herberg og værtshus på Storgade 17 (Chr.IV’s kro, i dag Sorø Museum). I 1767 overgik privilegiet til Hotel Postgaarden, hvor det nuværende forhus var blevet bygget året forinden.

Det gamle hotel og spisested udgør en væsentlig del af Sorøs historie. H.C. Andersen, Ingemann og Holberg var blandt de berømte gæster.