Castanet dʼEscarts fue originalmente el lugar de una ocupación humana muy antigua. Las herramientas encontradas en un yacimiento magdaleniense así lo atestiguan. Las piedras en pie conocidas en Cambayrac son la prueba de una ocupación neolítica. 
De la Alta Edad Media se conservan sarcófagos, uno de los cuales puede verse cerca de la iglesia de Castanet, descubierta en el emplazamiento del actual Café Castagné, cerca del antiguo fuerte. Ya en el siglo XII, la familia De Castanet poseía el señorío...

El municipio, de 2.200 hectáreas, comprende actualmente dos parroquias: Castanet y sus anexos Combayrac y Cuzoul. Aunque pequeño, el municipio no es menos animado, y sus habitantes son muy activos a través de numerosas asociaciones culturales y de ocio.

El municipio está dividido entre el Segala, al este, y las mesetas calizas, al oeste. La vertiente del Segala tiene el punto más alto del departamento (504 m) y está parcialmente cubierta de castañares, que han dado nombre al municipio.