Voordat hier een militaire kazerne werd neergezet, stond hier het fort Vossegat. Vanwege de Kringenwet (pas opgeheven in 1953) mocht rondom dit fort en andere forten rondom Utrecht niet op een bepaalde afstand worden gebouwd. Dat kwam omdat de forten militaire objecten waren en ze een vrij schootsveld moesten hebben, of bebouwing die in een mum van tijd kon worden afgebroken of in brand gestoken.

De Kromhoutkazerne wordt soms als de eerste kazerne van Nederland beschouwd. Het gebouw is opgezet volgens het zogeheten paviljoensysteem. Het was begin 19e eeuw gebruikelijk om volgens het paviljoensysteem elk gebouw een unieke functie te geven. Functies zoals slapen en koken gebeurden dus in aparte gebouwen.

Begin jaren 90, toen de Koude Oorlog onverwacht ten einde kwam, verviel de noodzakelijkheid van een groot leger. De landmacht begon in diverse rondes van bezuinigingen te krimpen en te reorganiseren. Daarom werd het oudste deel van de kazerne afgescheiden van de rest en verkocht aan de Universiteit van Utrecht.