Πρώιμη ιστορία
Η Φορτέτζα είναι χτισμένη σε ένα λόφο που ονομάζεται Παλαιόκαστρο (που σημαίνει «Παλιό Κάστρο»), όπου βρισκόταν η ακρόπολη της αρχαίας Ρήθυμνας.
Μεταξύ του 10ου και του 13ου αιώνα, οι Βυζαντινοί δημιούργησαν έναν οχυρό οικισμό στα ανατολικά του λόφου. Ονομαζόταν Castrum Rethemi, και είχε τετράγωνους πύργους και δύο πύλες.
Οι οχυρώσεις επισκευάστηκαν από τον Enrico Pescatore στις αρχές του 13ου αιώνα. Μετά την πτώση της Κρήτης στη Δημοκρατία της Βενετίας, ο οικισμός έγινε γνωστός ως Castel Vecchio ή Antico Castello, που και τα δύο σημαίνουν “παλιό κάστρο”.
Επί Ενετοκρατίας χτίστηκε ένα μικρό λιμάνι στο Ρέθυμνο, το οποίο έγινε η τρίτη πιο σημαντική πόλη της Κρήτης μετά το Ηράκλειο και τα Χανιά.
Στις 8 Απριλίου 1540 άρχισε να χτίζεται μια σειρά οχυρώσεων γύρω από την πόλη. Τα τείχη σχεδιάστηκαν από τον αρχιτέκτονα Michele Sanmicheli και ολοκληρώθηκαν γύρω στο 1570.
Αυτές οι οχυρώσεις δεν ήταν αρκετά ισχυρές ώστε να αντέξουν μια μεγάλη επίθεση και όταν ο Uluç Ali Reis επιτέθηκε το 1571, οι Οθωμανοί κατέλαβαν και λεηλάτησαν την πόλη.
Ανέγερση και ύστερη Ενετοκρατία
Μετά την πτώση της Κύπρου στους Οθωμανούς το 1571, η Κρήτη έγινε η μεγαλύτερη ενετική υπερπόντια κτήση.
Δεδομένου ότι το Ρέθυμνο είχε λεηλατηθεί, αποφασίστηκε ότι έπρεπε να κατασκευαστούν νέες οχυρώσεις για την προστασία της πόλης και του λιμανιού της. Το νέο φρούριο, που χτίστηκε στο λόφο του Παλαιόκαστρου, σχεδιάστηκε από τον στρατιωτικό μηχανικό Sforza Pallavicini σύμφωνα με το ιταλικό σύστημα προμαχώνων.
Η κατασκευή ξεκίνησε στις 13 Σεπτεμβρίου 1573 και ολοκληρώθηκε το 1580. Το φρούριο κτίστηκε υπό την επίβλεψη του πρωτομάστορα Γιάννη Σκορδίλη και στην κατασκευή του συμμετείχαν συνολικά 107.142 Κρήτες και 40.205 ζώα.
Αν και ο αρχικός σχεδιασμός ήταν να κατεδαφιστούν οι παλιές οχυρώσεις του Ρεθύμνου και να μεταφερθούν όλοι οι κάτοικοι στη Φορτέτζα, το νέο κάστρο ήταν πολύ μικρό για να στεγάσει ολόκληρη την πόλη. Τα τείχη κατά μήκος της στεριάς προς την πόλη έμειναν άθικτα και η Φορτέτζα έγινε ακρόπολη που στέγαζε τη βενετική διοίκηση της πόλης. Επρόκειτο να χρησιμοποιηθεί από τους κατοίκους της πόλης μόνο σε περίπτωση οθωμανικής εισβολής.
Με την πάροδο των ετών, έγιναν διάφορες τροποποιήσεις στο φρούριο. Ωστόσο, δεν ήταν ποτέ πραγματικά ασφαλέςς, καθώς δεν είχε τάφρο και οι επάλξεις ήταν αρκετά χαμηλές.