Oorspronkelijk lag hier het kerkhof van de Sint-Janskerk. Over deze plek werd vroeger een spookverhaal verteld: drie broers waren onderweg naar huis van een avondje kaarten en drinken, toen ze drie mooie meisjes zagen. Voor de grap gingen ze erachteraan. De meisjes vluchtten het kerkhof op. Voor de ogen van de jongemannen verdwenen ze in de grond. Binnen het jaar waren alle drie de broers dood.
In 1832 werd het kerkhof verplaatst naar de Korte Akkeren. Het oudemannenhuis, dat gesticht was door Willem Vroesen, liet hier toen een tuin aanleggen. Het schijnt dat hier duizend essen stonden, en één rode beuk. Die beuk, hij staat er nu nog, was de enige boom die de storm van 1911 overleefde. Er staan beelden van de humanist Erasmus (gemaakt door Hildo Krop) en van de boekdrukker Gheraert Leeu (gemaakt door Roel Bendijk).
De Goudse heeft in 1974 de tuin geschonken ter gelegenheid van haar gouden jubileum. Ook het beeld ‘Het Toernooigevecht’, gemaakt door Eric Claus, was onderdeel van die schenking
