Der Hafenmarktturm ist ein Rest des ehemaligen Franziskanerklosters. Die gotische Franziskanerkirche wurde 1314 geweiht und 1688 von den abziehenden französischen Truppen niedergebrannt. Aus den Spenden der Bürger wurde sie zwischen 1698 und 1727 wieder aufgebaut. Nach dem Zweiten Weltkrieg wurde nur der Turm nochmals instand gesetzt.
Den Turmabschluss bildet heute ein handgeschmiedeter Phönix aus der Asche, Symbol für das Wiederaufstehen der Stadt nach dem Luftangriff am 4. Dezember 1944. In seinem Innern beherbergt der Hafenmarktturm ein Gefallenenehrenmal, gestaltet von Paul Bonatz, das 1964 eingeweiht wurde. Um 11 und um 19.20 Uhr (Zeitpunkt des Angriffs) ertönen abwechselnd fünf Volkslieder.