Deux châteaux se situaient en haut de cette falaise basaltique, mentionnés dès le XIIème siècle, à l'Est celui de la famille protestante d'Arlempdes du Velay, et à l'Ouest celui de la famille catholique des Astars-de-Flotte de Villeneuve de Berg. Ces familles se partageaint la seigneurie de Mirabel.
C'est lors du siège de 1628, pendant les guerres de religion, que le château est détruit à coups de canon.