L’abbaye romane est édifiée en 1003 sur un îlot calcaire du Golfe des Pictons, à l’emplacement d’une puissante forteresse. Le pape Jean XXII l’élève en 1317 en cathédrale gothique, mais autorise les moines à rester sur place.
Pendant les Guerres de Religion, le chef de guerre et poète, calviniste, Agrippa d’Aubigné en fait une forteresse protestante. Il la vend en 1610 au duc de Rohan, chef de guerre des rébellions huguenotes contre le pouvoir royal catholique.
À la Révolution Française, elle est vendue comme bien national, devient propriété d’un démolisseur qui la transformera en carrière.