Le château de Tournefort comme celui de La Bâtie-Vieille font partie des défenses construites par les évêques de Gap à la fin du XI° siècle pour protéger leurs terres acquises en Gapençais. Des habitants de Saint-Pancrace viennent alors s’installer au pied du château de Tournefort qui n’est qu’un simple Donjon bâti sur une crête.
Un prieuré de l’ordre de Saint-Benoît est également construit sur la crête à proximité du Donjon, comme le montre cette reconstitution imaginaire de ce qu’a pu être le village de Tournefort.
Mais un différent avec le dauphin contraint l’évêque de Gap à détruire son château de Tournefort en 1258. Le site est alors déserté par ces habitants qui se rapprochent du château de La Bâtie-Neuve construit entretemps.
Les bâtiments de Tournefort vont tomber en ruines. Il ne restera un temps que la chapelle du prieuré qui disparaitra à son tour, sauf les restes de ses fonts baptismaux maintenant exposés à la chapelle Saint-Pancrace.
Sur le site aujourd’hui déparé par la ligne haute tension, on ne trouve plus que des traces peu évidentes d’habitat (H) et des Donjon et prieuré (D).