Le château selon les études d'un architecte a été construit à trois périodes différentes.
Au lendemain de la croisade, le château de Saissac va être reconstruit probablement avec l’aide des ingénieurs royaux :
Enfin, au pied de la forteresse s’étagent les vestiges de l’ancien village castral de Saissac.
Occupé dés l’an mille et abandonné dans la première moitié du XIIIème siècle, le castrum est desservi par un important réseau de chemins (callade) et ponctué par une porte dite de Toulouse.
