Castanet dʼEscarts was oorspronkelijk de locatie van een zeer oude menselijke bezetting. Werktuigen die op een Magdaleniaterrein zijn gevonden, getuigen hiervan. De staande stenen van Cambayrac zijn het bewijs van neolithische bewoning. 
Uit de hoge middeleeuwen zijn sarcofagen bewaard gebleven, waarvan er een te zien is bij de kerk van Castanet, ontdekt op de plek van het huidige Café Castagné, vlakbij het oude fort. Al in de 12e eeuw was de familie De Castanet eigenaar van de heerlijkheid...

De 2200 hectare grote gemeente bestaat nu uit twee parochies: Castanet en de bijgebouwen Combayrac en Cuzoul. Hoewel de gemeente klein is, is ze er niet minder levendig om en haar inwoners zijn zeer actief via talrijke culturele en vrijetijdsverenigingen.

De gemeente is verdeeld tussen de Segala in het oosten en de kalksteenplateaus in het westen. De Segala-kant heeft het hoogste punt van het departement (504m) en is deels bedekt met kastanjebossen, die hun naam aan de gemeente hebben gegeven.