La confrérie des pénitents blancs du Gonfalon fut instituée à Chaudes-Aigues, le 12 août 1595, sous l'appellation de « l'Assomption Notre-Dame ».

Ces associations, nées en Italie, prospérèrent dans le sud-est de la France sous le patronage du roi Henri III qui y était affilié. Il s'agissait de congrégations laïques recrutées parmi les gens « du siècle » et dont la vocation était la prière, les bonnes oeuvres et la défense du dogme catholique contre l'esprit de la réforme.

Jusqu'en 1598, les pénitents blancs de chaudes-Aigues se rassemblaient dans la chapelle Saint-Julien. Ce n'est qu'au début du XVIIe siècle qu’ils firent construire, à l'entrée du faubourg de l'HERT, la chapelle que nous connaissons aujourd'hui. Sous la révolution, elle devient lieu de réunion de la société populaire. En 1802, les pénitents retrouvaient usage de leur édifice mais sans autorisation officielle et ce n'est qu'à la restauration, sous le Louis XVIII, qu'ils purent reprendre normalement leurs activités.
La confrérie s'éteignit au début du XXe siècle.

Le mobilier consistait en un magnifique retable, style renaissance, datant du XVIIe siècle, restauré et que l'on peut admirer dans la chapelle, d'un bénitier en pierre de 1625 et d'une plaque de lave sculptée reprenant la Vierge abritant sous son manteau deux pénitents encagoulés présents dans l'église paroissiale, des instruments de la passion, d'un baiser de paix gravée et dorée du XVIIe siècle.

La Chapelle est utilisée en saison comme lieu d'exposition.