Enserré entre deux murs de calcaires crétacés plissés par les Pyrénées, Peyrepertuse et Caprone, le terroir de Duilhac n'est que montagnes. Aussi ses habitants ont reçu le surnom de «Sauta-rocs» (saute-rochers).

Construit sur un éperon rocheux, le village de Duilhac domine un petit cirque où se sont concentrées presque toutes les parcelles cultivées, actuellement en vignes. Au dessus, les pentes du Tabourc, ou de Peyrepertuse, sont le domaine des moutons et des abeilles.

C'est grâce à la fontaine située au pied du Fort où coule une eau pure que se développa le village.

Sortant du rocher, la fontaine de Duilhac au débit abondant, est fraîche et très agréable à boire.

Elle est agrémentée d'un vers de Ronsard : «Quiconque en boira qu'amoureux il devienne».