Het paleis bestond uit twee haaks op elkaar geplaatste vleugels met in de hoek een ingangspartij van drie zeshoekige torens met een hoge spits. De middelste bevatte de toegangsdeur, de twee andere een traptoren om de hoger gelegen verdiepingen te kunnen bereiken. De bovenste verdieping, met de hoge ramen, was de hoofdverdieping. De rechtervleugel met het ooievaarsnest op de schoorsteen lag aan de Lichte Gaard. De linkervleugel, in het midden van de tekening, lag aan de straat die nu het Wed heet. De lage vleugel die links gedeeltelijk achter een boom schuilgaat, keek vroeger uit op de Oudmunsterkerk op het zuidelijke gedeelte van het Domplein totdat deze in 1587 werd gesloopt. Later is er door de toenmalige bewoner op de vrijgekomen grond een tuin aangelegd. Uiterst rechts is de doorgang te zien naar de Lichte Gaard, de tuin waaraan deze straat zijn naam ontleent.

Het bisschoppelijk paleis verloor in 1580 zijn functie toen de laatste bisschop, Frederik Schenk van Toutenburg, was overleden. Het Bisschopshof kreeg verschillende bestemmingen. Eerst werden er voor korte tijd zieke weeskinderen gehuisvest. In de eerste decennia van de zeventiende eeuw werd het ingrijpend verbouwd om het in orde te maken voor de militaire gouverneur, graaf Ernst Casimir van Nassau. Aan de Servetstraat werd toen de nog bestaande toegangspoort gebouwd met bovenin het jaartal 1634 en het wapen van de provincie Utrecht. In de achttiende eeuw werd het Bisschopshof particulier bewoond. Zo heeft Jan de Beijer het in 1744 getekend. Na de dood van de laatste bewoner in 1775 ging het bergafwaarts met het gebouw. In 1795 deed het dienst als kazerne voor Franse soldaten waardoor het snel achteruit ging. Tenslotte werd het in 1800 voor afbraak verkocht en drie jaar later afgebroken. Direct daarna legde Hendrik van Lunteren op het braakliggende terrein de bloemkwekerij Flora’s Hof aan. Hier werden vooral fruitbomen, heesters en kuipplanten gekweekt voor buitenplaatsen. De grond aan de randen van zijn terrein langs het Wed en het Domplein werd later als bouwgrond voor woonhuizen verkocht.

Tot 1934 bleef een deel van Flora’s Hof bestaan, waarna de afdeling Monumenten van de gemeente het terrein als opslagplaats in gebruik nam. In de oosten de westmuur werden reliëfs van wimbergen ingemetseld die architect Pierre Cuypers in 1893 had laten maken voor de pandhof van de Dom en die bij de restauratie van 1960 weer zijn verwijderd. In 2008 is op particulier initiatief wat er over was van Flora’s Hof opnieuw aangelegd in een tuinstijl die is geïnspireerd op de negentiende eeuw.