Agnes woonde in Rome. Ze was pas dertien toen haar vader haar rond 300 na Christus wilde uithuwelijken aan een Romeinse edelman. Dat wilde Agnes niet, want ze was al verliefd op Jezus. De edelman was zeer beledigd door haar weigering. Haar vader werd zo boos, dat hij haar te schande wilde zetten en op het centrale plein van Rome de kleren van haar lijf trok. Spontaan begon haar haar zo hard te groeien, dat ze er haar hele lichaam mee kon bedekken.
Kennelijk vonden veel vrouwen in de late middeleeuwen dit verhaal erg inspirerend, want rond 1400 werden er overal zogenaamde Agnietenkloosters opgericht. Agnieten waren volgelingen van Agnes. Ook hier stond zo’n klooster. Alleen de kapel is bewaard gebleven, maar oorspronkelijk was het klooster veel groter. Er was een brouwerij, er waren stallen, er waren woonvertrekken voor de nonnen... Toch kende het niet alleen voorspoed. In 1515 heeft de pater het over dit arme ende miserabel, scamel convent.
Van 1653 tot 1924 zat in dit pand de lommerd. Wie geld nodig had, bracht een kostbaar voorwerp naar deze bank van lening als onderpand. In ruil voor dat voorwerp kreeg je geld en een bewijsbriefje. Als je dan later kon terugbetalen, ging je met je bewijsbriefje je zilveren servies of je gouden trouwring weer ophalen. Deed je dat niet binnen de afgesproken tijd? Dan verkocht de pandjesbaas jouw voorwerp.
Meerdere keren zijn er plannen geweest om de Agnietenkapel te slopen. Maar dat vond men toch zonde. Daarom werd in 1972 begonnen aan de restauratie van de kapel. Tijdens de werkzaamheden vond met onder de grond nog resten van verfovens voor aardewerk. In 1974 nam oprichter Geert Bouwmeester afscheid van De Goudse. Ter gelegenheid daarvan deed De Goudse een schenking van 100 duizend gulden voor de restauratie. In 1975 was die af. Tegenwoordig is hier een ruimte voor culturele activiteiten. Regelmatig worden er lezingen en concerten gegeven.
