Il se dote au fil des siècles de nouveaux éléments : chemise, courtine (XIIe siècle), tours à bec (XIIIe siècle), logis du gouverneur (XIVe s.), tour ronde ou tour neuve (longtemps appelée tour Louis XI), Martelet, barbacane (XVe s.) et caponnières (XVIe s.).
Château comtal puis forteresse royale, le site devient prison royale au XVe siècle. Des prisonniers politiques de haut rang y sont enfermés comme Jean d'Alençon, Philippe de Commynes, Ludovico Sforza ou Jean de Poitiers. De 1801 à 1926, la prison devient maison d'arrêt départementale.
Au nord de l'éperon, Louis Ier d'Anjou construit un logis à la fin du XIVe siècle. Charles VII vient régulièrement dès 1418 et fait de la Cité sa seconde place forte après Chinon. Jeanne d'Arc y rencontre le roi en mai 1429, après la victoire d'Orléans.