Aux origines, « Castanet dʼEscarts  » est le lieu d’une très ancienne occupation humaine. Des outils retrouvés sur un site magdalénien l’attestent. Les Pierres Levées connues à Cambayrac prouvent l’occupation à l’époque du Néolithique. 
Du Haut Moyen-Age il reste des sarcophages, dont un visible près de l’église de Castanet, découverts à l’emplacement de l’actuel café Castagné, à proximité de l’ancien fort. Dès le XII e siècle, la famille De Castanet possédait la seigneurie…

La commune de 2200 hectares comprend aujourd’hui deux paroisses : Castanet et son annexe Combayrac et le Cuzoul. Bien que petite, la commune n’en est pas moins animée, ses habitants sont très actifs au travers de nombreuses associations culturelles et de loisirs

La commune se partage entre ségala à l’est et plateaux calcaires à l’ouest. Le côté ségala possède le point culminant du département (504m) et est en partie couvert de châtaigneraies qui ont donné leur nom à la commune.