Elle fut édifiée sur les plans de l’architecte Harou-Romain de 1823 à 1828.L’ordonnance royale du 9 septembre 1814 reprit l’idée d’une réforme des prisons en indiquant qu’il fallait y établir un régime propre à corriger les criminels, grâce au secours du travail obligatoire et de la religion. Les architectes Harou-Romain, père et fils, ont conçu cet édifice. La prison est organisée autour d’un puits de lumière. Au centre, une chapelle, installée au premier étage est entourée de forts barreaux. De part et d’autre, disposées de manière symétrique quatre grandes chambres de 5 mètres sur 5 mètres au premier étage et quatre autres au second, qui pourraient être qualifiées de dortoirs, sont réservées aux hommes et aux femmes, aux prévenus et aux condamnés. Il ne s’agit donc pas de cellules. L’époque est aux aménagements de quartiers distincts et à la moralisation par le secours de la religion et de l’instruction élémentaire.
Le 18 janvier 1949, René Girier dit René-la-canne était condamné pour tentative de vol de voiture à huit mois de prison. Il fut écroué dans la prison de Pont-l’Evêque, étrange établissement où les formalités d’écrou y sont accomplies par un détenu condamné pour escroquerie et qui fait office de comptable, de véritable administrateur de la prison, confectionnant même de faux certificats de libération.

Le gardien-chef Fernand Billa, un ivrogne en poste depuis 1946, a établi dans la geôle un régime débonnaire : permissions de nuit et de jour, visites de compagnes dans l’infirmerie, festins et alcool pour ceux qui disposent de moyens. Tout se monnaye au sein de la détention. René Girier évoque les laisser pour compte de cet étrange régime d’incarcération : “Les sans-grade, les dévaliseurs de poulaillers, les voleurs de vélo, les clochards, les chapardeurs, les vagabonds qui constituent quand j’arrive à Pont-l’Evêque la population de la prison, traînent une existence de bagnards, mourant de faim, de froid, rongés par la crasse, envahis de vermine”. En avril 1949, Girier s’évade de ladite prison. Des enquêtes administratives sont diligentées. Le gardien-chef est sanctionné, puis condamné à trois ans d’emprisonnement. En 1953, le ministère de la justice décide la fermeture de cette prison vétuste et trop peu sûre. Un film d’André Berthomieu fait revivre l’histoire hors du commun de cet établissement, “La joyeuse prison” sorti sur les écrans en 1956.