Le château fort, construit sur l’éperon rocheux du rocher de l’Agache va constituer le point de départ du bourg actuel. Il était impossible de concevoir un village autour de l’église San-Samonta, la configuration du terrain ne s’y prêtant pas.
Puis au XIIIème siècle le château s’est agrandi vers la crête avec de nouvelles constructions ayant une vocation résidentielle. Ensuite au cours des siècles l’habitat s’est développé sur les pentes rocheuses que domine le château. Au fur et à mesure de ces extensions, les remparts ont été agrandis pour assurer la protection des maisons.
Partagés entre plusieurs seigneurs, le château et ses annexes, après les destructions des guerres de religion au XVIème siècle, connurent une désaffection progressive (notamment après le passage de l’Amiral Coligny à la solde de l’armée protestante, fort d’une armée d’environ 3 000 hommes et 400 chevaux).

L’ensemble du bourg restera habité jusque dans les années 1880 puis les maisons seront abandonnées petit à petit, au fur et à mesure de la disparition des personnes y habitants, jusqu’à son renouveau et reconstruction entamée dès les années 1970 par l’association des amis de Saint Montan.