In de twaalfde eeuw in het huidige Noord-Israël stichtten Duitse handelaren een tijdelijk ziekenhuis vlak bij het strijdtoneel in het Heilige Land, waar de kruistochten op dat moment naartoe gingen. Hieruit ontstond door toedoen van ridders en priesters de Duitse Orde, een geestelijke ridderorde die zich inzette voor zieke en gewonde pelgrims en ridders. De Duitse Orde kon ook ridderbroeders uitzenden naar de strijdgebieden aan de randen van christelijk Europa, rond de Middellandse Zee. Door heel Europa kreeg de Duitse Orde bijdragen van rijke gelovigen, waaronder het stuk land waar je nu op staat.

De oudste delen van het gebouw stammen uit 1348. Voor een lange tijd was het Duytsche Huis in handen van de Duitse Orde. In 1807 verkochten zij het gebouw aan koning Lodewijk Napoleon, die er een Rijks Militair Hospitaal van maakte. Na het vertrek van de Fransen, slechts zo'n vijf à zeven jaar later, werd Willem I koning van Nederland en stond dit gebouw in dienst van de Militair Geneeskundige Dienst. In 1822 werd een vleugel toegevoegd als militair ziekenhuis, dat is nu het hoofdgebouw van Karel V. Toen kwam hier de Kweekschool. De Kweekschool besteedde meer aandacht aan praktisch en anatomisch onderwijs dan de medische faculteit. Eén van de leerlingen van de kweekschool, Antonis Mathijsen, ontwikkelde het gipsverband. Er was hier ook een laboratorium aanwezig.

Zo verzorgden verpleegkundigen hier door de eeuwen heen gewonde soldaten, van de tijd van ridders tot de tijd van de Wereldoorlogen.