Boldhusgade i centrum af Sorø kan ses på et kort fra 1750, hvor vejen dog ikke er navngivet. Den har formentlig heddet Realgade eller Rolighed. Fra 1868 kaldes dette lille stykke vej med sikkerhed Boldhusgade.
Boldhuset bag stengærdet blev bygget af Christian IV til boldspil. Kongen benyttede selv boldhuset, hvor der også blev dyrket andre former for idræt og spillet om penge.
I 1861 blev huset forhøjet med en etage. Akademiets bibliotek er placeret her.
