Parece ser que la intención de los condes era trasladar allí el cuerpo de San Toribio. Sin embargo, según cuenta la leyenda, el emplazamiento elegido no fué del agrado del santo y esto provocó que el conde quedara ciego.
Para recuperar la vista, Alfonso cedió todas sus posesiones al monasterio de Santo Toribio. El santo agradeció el gesto y devolvió la vista al conde.