La présence d'une source miraculeuse qui coule sous l'autel de l'église et réputée pour guérir la stérilité, ainsi que la statue d'une Vierge Noire découverte dans une excavation située au dessous du coeur actuel sont à l'origine dès le Moyen-Âge d'un pèlerinage très renommé. Des miracles y étaient fréquemment reconnus, la renommée du sanctuaire s'étendait très loin dans le royaume. Hautefage fut la résidence des évêques d'Agen, les Della Rovere entre 1487 et 1538, elle devint Hautefage-la-Tour en 1919. L'église Notre-Dame d'Hautefage construite vers la fin du XVème siècle, début du XVIème siècle a remplacé la chapelle du Moyen-Âge. La Tour épiscopale a été édifiée à la même période par les deux évêques d'Agen, leurs armoiries, des rameaux de chêne enlacés, sont visibles sur plusieurs parties de l'édifice. De plan exagonal, elle mesure 39 mètres de haut, quant à la flèche de la toiture elle culmine à 55 mètres date du XXème siècle.
La Tour