Esta tradición giró, durante siglos, en torno a su especial virtud para curar a los endemoniados. Todos los años y hasta no hace muchos, por el mes de septiembre, conducían a los locos de la comarca a través del barranco de Rossell (rosell es un rosal silvestre, una planta de espinas) y los dejaban toda la noche en la cueva santificada con unos lazos azules atados a los pies y a los dedos de las manos. Después da una noche de histeria colectiva se comprobaba si se habían desatado los lazos, porque cada uno que se desatasen era la prueba de que un demonio había abandonado el cuerpo del poseso. La prueba tiene en este santuario las mismas características que tenía en Jaca y en al valle del Roncal. Lo mismo que en los santuarios de Santa Orosia y de la Virgen de Zuberoa, la tradición se ha ido perdiendo.
En cualquier caso, en la Balma sigue festejándose el exorcismo y en la romería que se celebra todos los años, un personaje vestido de loco o de diablo recita unas loas alusivas a los poderes de la Señora de la Balma, acompañando su recitado con la explosión de los clásicos petardos del País Valenciano.