In 1833 werd een begin gemaakt met de afbraak van de Weerdpoort. Die was niet meer nodig voor de stadsverdediging. Alleen de beide poorttorens bleven staan. Zij werden tot de helft verlaagd en in neogotische stijl verbouwd als bewaking van het nieuwe toegangshek, de Weerdbarrière. Deze noordelijke toegang tot de stad werd in 1861 opgeheven en de torens werden afgebroken. De fundamenten van de torens zijn tegenwoordig weer zichtbaar gemaakt.