In het begin van de 20e eeuw groeide de bevolking van de stad Zuilen snel met de komst van grote fabrieken zoals Werkspoor en Demka. Naarmate de bevolking groeide, was er behoefte om katholieken hun eigen positie te geven in een samenleving die verdeeld was door religie en overtuigingen. Dit resulteerde in de bouw van een complex van katholieke gebouwen, waaronder de St.-Ludgeruskerk, een pastorie, een klooster, scholen voor jongens en meisjes, een gymnasium en een parochiehuis. Het complex werd ontworpen door architect Wolter te Riele en werd voltooid tussen 1923 en 1938.
In de laatste jaren van zijn bestaan diende het Pastoor Schiltehuis ook als poppodium voor opkomende Nederlandse popgroepen. Het katholieke complex werd echter vanaf de jaren 70 afgebroken en alleen de voormalige woning van het hoofd van de school, de oude Fröbelschool en de naaischool, die nu een ander klooster herbergt, blijven vandaag de dag over.
Het klooster bevond zich op St.-Ludgerusstraat en St.-Willibrordusstraat en eindigde daar met een muur met een getrapte gevel op korte afstand van de kleuterschool. De muurschildering van kunstenaar Jos Peeters aan de zijkant van de muur toont gebeurtenissen die zich binnen en rond het klooster hebben voorgedaan, inclusief die tijdens de Tweede Wereldoorlog.