Au cœur de la vallée de la Vère dans le Tarn, le site de Puycelsi fut occupé très tôt, dès la préhistoire. Plus tard vinrent s’y installer les Celtes puis les Romains et au 12e siècle les comtes de Toulouse qui y entreprirent des fortifications. Elles lui permirent de résister à de nombreux sièges: celui de Simon de Montfort au début du XIIIe siècle lors de la croisade des Albigeois, aux pastoureaux en 1320 ou encore aux troupes anglaises à la fin du 14e siècle.
Ses remparts, de puissantes murailles, s’étendent sur près du 800 mètres. Du chemin de ronde le panorama englobe la forêt de la Grésigne, les Causses du Quercy jusqu’aux cimes des Pyrénées. Ont également traversé les siècles les portes d’entrée et leur tour de guet.
Près de l’église Saint-Corneille qui possède un retable remarquable, les habitations qui datent du 14e ou du 15e siècle sont nombreuses. Leur esthétique particulière est due aux toits de tuiles creuses et à l’utilisation du bois et de la brique.
Les ruelles pittoresques sont dotées d’un patrimoine architectural non négligeable, dont le château du petit Saint-Roch, l’ancienne résidence des capitaines-gouverneurs gérant la forêt. Un sentier du patrimoine permet d’ailleurs de se balader en forêt de Grésigne, qui appartenait jadis au roi de France.