I 1903 fik Sorø sit eget posthus. Før havde postkontoret hjemme, hvor byens postmester tilfældigvis boede. Posten blev bragt ud til fods eller med hestevogn. I 1920’erne blev postbudene motoriserede.

I 1988 havde det gamle posthus på Rådhusvej 6 gennemgået en langvarig og gennemgribende modernisering, herunder en stor udvidelse med glasparti ved indgangen og gode adgangsforhold for kørestole.

Posthuset lå i en længere periode hos Svegård Bog & idé og ligger fra 1. april 2018 hos Kongebrobageren.