La Drèche signifie la Côte Droite, c'est-à-dire un chemin droit et raide. Au XIIème siècle un propriétaire découvrit dans l'un de ses pacages une statue de la Vierge, il décida de faire bâtir un sanctuaire pour l'abriter, celui-ci devint église paroissiale à la fin du XIIème siècle. Il fut rebâti au XIIIème siècle après accord de l'évêque d'Albi et des seigneurs de Castelanau de Levis et de Lescure. La particularité de cet édifice religieux résidait dans le fait de son implantation à la jonction de trois communes. Les foules commencèrent à venir en pèlerinage, il est fait mention de l'un de ceux-ci en 1468. Sous le règne de Louis XIII la dévotion des pèlerins à Notre-Dame de la Drèche était importante. On venait pour invoquer la Vierge et obtenir le salut des infirmes et la guérison des malades. De nombreux miracles furent constatés au cours des siècles. Le sanctuaire était également très fréquenté lors des grandes épidémies et des cérémonies importantes y étaient alors célébrées. Pendant la Révolution l'édifice fut pillé et vendu aux enchères, mais la statue grâce à la vigilance d'une paroissienne fut cachée et sauvegardée.
L'Eglise