Υπήρξε ένα από τα πιο αξιόλογα φρούρια της Πελοποννήσου κατά την περίοδο της Φραγκοκρατίας και της Τουρκοκρατίας.
Χτίστηκε στα μέσα του 13ου αιώνα (μάλλον το 1245) από τον ξακουστό Γάλλο ιππότη Γοδεφρείδο ντε Μπρυγιέρ (Geoffrey de Bruyeres ή de Briel), βαρώνο της Καρύταινας. Ο ντε Μπρυγιέρ, γεννημένος στην Ελλάδα, είναι από τις πρωταγωνιστικές φυσιογνωμίες στο Χρονικόν του Μορέως. Κληρονόμησε την Καρύταινα από τον πατέρα του Ούγκο που στη μοιρασιά της Πελοποννήσου ανάμεσα στους Φράγκους Σταυροφόρους, το 1209, πήρε μία από τις 12 βαρωνίες του Πριγκιπάτου της Αχαΐας. Η βαρωνία της Καρύταινας είχε 22 φέουδα.
Πριν τη Φραγκοκρατία, δεν υπάρχουν αναφορές για την Καρύταινα. Υπάρχουν πάντως σοβαρές ενδείξεις ότι στη θέση προϋπήρχε βυζαντινό και ίσως και αρχαίο κάστρο (αρχαία Βρένθη).
O Γοδεφρείδος απεβίωσε άτεκνος το 1275. Η βαρονία περιήλθε τότε κατά το ήμισυ στον πρίγκηπα της Αχαΐας και κατά το άλλο ήμισυ στη χήρα του, Ισαβέλλα Ντελαρός (de la Roche). Η Ισαβέλλα Ντελαρός (αδερφή του Δούκα των Αθηνών) παντρεύτηκε τον κόμη του Λέτσε Ούγκο ντε Μπριέν (Hughes de Brienne ή Ugo di Brienne), ο οποίος ήταν Γάλλος με καταγωγή από την Καμπανία, πρωτότοκος γιος του εκλιπόντος Φράγκου βασιλέα της Κύπρου, αποτυχών διεκδικητής του θρόνου της Ιερουσαλήμ και προστατευόμενος του Ανδεγαυού βασιλιά της Σικελίας Κάρολου Α’ Ντ’ Ανζού.
Η Ισαβέλλα Ντελαρός πέθανε το 1279. Ο σύζυγός της συμμετείχε σε πολεμικές επιχειρήσεις στην Ιταλία μη ενδιαφερόμενος προφανώς για την Καρύταινα. Το 1289 εμφανίστηκε κάποιος υποτιθέμενος συγγενής των Ντε Μπρυγιέρ που διεκδίκησε με αξιώσεις την βαρονία. Το γεγονός αυτό σε συνδυασμό με την απουσία του Ούγκου Ντε Μπριέν και με σκοπό να διευθετηθεί η έκρυθμη κατάσταση που επικρατούσε σχετικά με τη διαδοχή στο Πριγκιπάτο της Αχαΐας, ώθησε τον βασιλέα της Σικελίας να εκχωρήσει, τον Ιούλιο του 1289, ολόκληρη τη βαρονία της Καρύταινας στην κόρη του Πρίγκιπα της Αχαϊας Ισαβέλλα Βιλλεαρδουίνου, τη γνωστή Ιζαμπώ, ως προίκα για το γάμο της με τον Florent d'Hainaut (τον «μισίρ Φλορά» του Χρονικού του Μορέως), ο οποίος έγινε ο νέος Πρίγκιπας της Αχαΐας.
Όμως ο Ούγκος ντε Μπριέν ήταν σημαντική προσωπικότητα και δεν ήταν εύκολο να αγνοηθεί. Πήρε ως ανατάλλαγμα το Ποντικόκαστρο, ενώ λέγεται, χωρίς να είναι απολύτως βέβαιο, ότι τελικά ξαναπήρε και τη μισή Καρύταινα.
To 1324, ο φρούραρχος του κάστρου δωροδοκήθηκε από τον Βυζαντινό Επίτροπο Μορέως Ανδρόνικο Ασάν Παλαιολόγο (τον «Ασάνη») και η Καρύταινα κατελήφθη από τους Βυζαντινούς. Ο Ανδρόνικος ήταν ανιψιός του αυτοκράτορα Ανδρόνικου Β' Παλαιολόγου’ και άρχοντας του Μυστρά μεταξύ 1316 και 1322 (πριν ο Μυστράς αναβαθμιστεί σε Δεσποτάτο) και ήταν αυτός που ανέκτησε μεγάλο μέρος της Πελοποννήσου από τους Φράγκους. Το 1318 είχε αποκτήσει με παρόμοιο τρόπο και το κάστρο τη Άκοβας που το αγόρασε από τους Καταλανούς.
Το 1458 ή το 1460, το κάστρο το κατέλαβαν οι Τούρκοι χωρίς αντίσταση. Το παρέδωσε ως φρούραρχος κάποιος Σγουρομμάλης Παλαιολόγος.
Η Καρύταινα συνέχισε να είναι σπουδαίο κάστρο και στα χρόνια της Τουρκοκρατίας, καθώς ήταν κέντρο κιζά (διοικητικής περιφέρειας).
Για ένα σύντομο διάστημα, κατά τη Β’ Ενετοκρατία στην Πελοπόννησο, μεταξύ 1687 και 1715, το κάστρο κατείχαν οι Ενετοί.
Το 1821 ήταν από τα πρώτα κάστρα που απελευθερώθηκαν και αφού είχε προηγηθεί η πρώτη νίκη των Ελλήνων Επαναστατών, υπό τον Θεόδωρο Κολοκοτρώνη, στη μάχη της Καρύταινας (27 Μαρτίου 1821). Αυτή η πρώτη ιστορική νίκη είναι και ο λόγος που η Καρύταινα απεικονιζόταν μαζί με τον Κολοκοτρώνη στα παλιά πεντοχίλιαρα.
To 1826 o Γέρος του Μωριά θα οχυρώσει και πάλι το κάστρο, για να χρησιμοποιηθεί ως ορμητήριο στη διάρκεια των επιχειρήσεών του κατά του Ιμπραήμ και ως καταφύγιο του άμαχου πληθυσμού. Στα ριζά του κάστρου, κοντά στην Παναγιά, έφτιαξε και το σπίτι του. Ο Ιμπραήμ επεχείρησε να καταλάβει το κάστρο, χωρίς όμως επιτυχία.
