Vanwege reumatische klachten besloot Lodewijk Napoleon – de jongere broer van de Franse keizer Napoleon Bonaparte, die hem koning van Holland maakte – zijn residentie te verplaatsen van Den Haag naar Utrecht.

In 1807 liet hij een paleis inrichten op de hoek van de Drift en de Wittevrouwenstraat. In dat jaar begonnen 200 werklieden met een spoedverbouwing, die in 1809 afgerond werd. Al snel blijkt het paleis te klein. Diners voor een groot aantal gasten konden er niet gegeven worden. Men moest dan uitwijken naar andere gelegenheden. De koning gaf daarom al snel opdracht om een nieuwe vleugel te bouwen achter Drift 27. Deze nieuwe vleugel bestond uit een ‘grande galerie’ en twee salons. Ondanks deze verbouwingen koos Lodewijk Napoleon kort daarna het voormalige stadhuis van Amsterdam – het Paleis op de Dam – als zijn hoofdverblijf. Het pand in Utrecht diende slechts als tweede woonhuis.

Bij het publiek leverde dit de koning een imago als kampioen geldverspiller op. De Utrechtse apotheker Hendrick Keetell bezocht het paleis en had een sterke mening over wat hij daar zag. Volgens Keetell werd bij de inrichting ‘niets te fraai, niets te kostbaar gehouden, als van behangsels, schoorstenen enz. om tot volmaking van het paleis te dienen’. De meubilering was volgens hem ‘om het maar met één woord uit te drukken koninklijk’. Bedden met overkappingen, tapijten, gordijnen, spiegels, tafels, stoelen, ‘ja alles was nieuw, ten uitersten prachtig en naar de nieuwste smaak’. Die nieuwste smaak was de zogeheten Franse empirestijl.

Twee jaar later, in september 1810, moet koning Lodewijk Napoleon op bevel van zijn broer alweer afstand doen van de troon. Nederland wordt officieel onderdeel van Frankrijk. Al vrij snel daarna treedt het verval van het Utrechtse paleis in.

In 1815 wordt de balzaal door de algemene bibliotheek van de universiteit van Utrecht in gebruik genomen. Vanwege uitbreiding van de bibliotheek worden steeds meer delen van het vroegere paleis opgekocht. Uiteindelijk komt het hele complex in bezit van de universiteit. Waar Lodewijk Napoleon ooit door de gangen schreed, lopen nu studenten, zoekend naar een vrij plekje om te studeren.