| Dans ses mémoires, le comte de Clermont-Toucheboeuf rapporte qu'« il y a sur la montagne, à my coté et dominant la rivière et chemin de Saint-Cyprien et vis à vis à Monsec, à portée de canon, un vieux château ». Il signale aussi « un beau portail chargé de belles sculptures » qui étaient donc encore visibles à la fin du XVIIIe siècle. A l'époque médiévale, le château fut une position militaire importante, marqué, comme les autres castels de la vallée, par les guerres incessantes des époques passées. En 1679, le fief est acheté par Pierre de Toucheboeuf à Messire de Malezat de La Viguerie. Probablement le château était déjà en mauvais état. Le fief rendait alors hommage à l'archevêque de Bordeaux comme seigneur châtelain de Saint-Cyprien. Monsec et le Cazelat étaient proches et cela a posé de graves difficultés pour les seigneurs de l'un et l'autre lieu. Cette acquisition devait lier de manière définitive l'avenir du Cazelat à la seigneurie voisine, le Cazelat y perdant ses titres de demeure noble. Le Cazelat est ainsi transformé en métairie. Les caves, creusées dans le roc, reçoivent le pressoir des vendanges. Il faut se souvenir que la vallée de la Dordogne posséda longtemps des vignobles réputés jusqu'à la crise du phylloxera. Dans ses mémoires, le comte de Clermont-Toucheboeuf indique se souvenir avoir bu du vin provenant du Cazelat de plus de trente ans. Dominique Audrerie Source :
Mémoires du comte de Clermont-Toucheboeuf, rédigées en 1794 pour l'instruction de ses enfants et conservées dans la famille.
Ces mémoires ont été en partie publiés dans le BSHAP par Jean Maubourguet en 1939 :
Lien vers BSHAP 1939 page 523
Lien vers BSHAP 1939 page 590 Illustration : carte postale ancienne, coll. de l'auteur Lien vers une vidéo de Pierre-Lucien Bertrand sur YouTube | 
