Le premier monastère du Chalard fut érigé en 801 sous le règne de Charlemagne. En 846 il est détruit par les Normands qui massacrent les prêtres et la population. Geoffroy, qui enseignait pour un négociant florentin installé à Limoges, découvre le site du Chalard en revenant de Périgueux où il vient d'être ordonné prêtre. En 1088, avec deux compagnons il revient en ces lieux pour mener une vie d'ermite, il fait construire une chapelle au sommet du promontoire, puis il fonde un monastère.
L'église