In 1528 werd deze dwangburcht gebouwd volgens plannen van de Vlaamse architect Rombout Keldermans II in opdracht van keizer Karel V. Die had in dat jaar de wereldlijke macht in het Sticht en het Oversticht overgenomen van de bisschop van Utrecht. Voor de stad Utrecht betekende deze inlijving het einde van allerlei rechten en vrijheden, terwijl impopulaire maatregelen werden opgelegd zoals de vervolging van protestanten. Om de ontevreden bevolking in toom te houden, werd binnen de stadsmuur, dicht bij de Catharijnepoort, een dwangburcht gebouwd met de veelzeggende naam Vredenburg.

Onder Karels bewind bleef het vrij rustig maar onder Filips II, die in 1555 zijn vader als koning van Spanje en heer van de Nederlanden opvolgde, nam de onvrede snel toe. Onlusten die in 1566 escaleerden in de Beeldenstorm hadden een strafexpeditie onder leiding van de hertog van Alva tot gevolg. Kasteel Vredenburg was een belangrijk Spaans steunpunt onder leiding van de garnizoenscommandant D’Avila. Toen in 1576 het tij eindelijk keerde en in een van de bepalingen van de Pacificatie van Gent werd besloten tot het vertrek van de Spaanse troepen uit de Nederlanden, weigerde D’Avila zich daarbij neer te leggen. Met zijn bezetting van 200 man in een goed verdedigbaar en bevoorraad kasteel dacht hij het wel te kunnen volhouden. Maar een uitval vanuit het kasteel om de burgers te intimideren had niet het gewenste effect. Gevolg was wel dat de schutterij onder leiding van de Staten van Utrecht het kasteel begon te belegeren om het garnizoen tot vertrek te dwingen.

Deze situatie is op het schilderij afgebeeld. Ook is te zien dat de beschietingen vanuit het kasteel de nodige schade veroorzaakten. Op de achtergrond staan houten huizen in de wijk Handvoetboog (de tegenwoordige Wijk C) in brand. Ook de Jacobikerk zou hierdoor zware schade oplopen. Na anderhalve maand zag D’Avila het hopeloze van zijn situatie in en na onderhandelingen vertrokken de Spanjaarden met een eervolle aftocht.

Kasteel Vredenburg was nu weliswaar in Utrechtse handen maar vormde nog steeds een bedreiging voor de stad. De Spanjaarden zouden immers kunnen terugkeren. In de zomer van 1577 werd een begin gemaakt met de sloop van de gehate dwangburcht. Volgens de overlevering nam de Utrechtse hopmansvrouw Trijn van Leemput hiertoe het initiatief. Zij staat op de voorgrond afgebeeld met een houweel in de ene hand en een baksteen in de andere. Hier zijn dus twee gebeurtenissen die nooit gelijktijdig hebben plaatsgevonden in één voorstelling gecombineerd. Het verhaal van de dappere hopmansvrouw was in de zeventiende eeuw zo geliefd dat zij op een afbeelding van het beleg van 1577 niet mocht ontbreken.