Se cree que nació alrededor del año 443, viviendo durante años como anacoreta en los Riscos de Bilibio próximos a Haro. A él acudió el año 493 San Millán, para quien haría de maestro durante tres años, antes de que éste se dirigiese a los montes Cogollanos. Falleció en el año 520, siendo enterrado en el monte de Bilibio, donde permanecerían sus restos hasta que fueran trasladados en 1090 al Monasterio de San Millán de Yuso por el abad Blas y doce monjes, con los permisos de Alfonso VI y Lope Díaz de Haro.
En 1052 García Sánchez consagró el Monasterio de Santa María la Real de Nájera que el mismo había mandado construir. Tras esto quiso enriquecerlo trayendo los cuerpos de Santos de la comarca, pidiendo su aprobación a los obispos Sancho de Pamplona, García de Álava y Gómez de Burgos. Ese mismo año intentó trasladar el cuerpo de Felices, llegando a tal acuerdo con el obispo de Álava. Éste se dirigió a los Riscos de Bilibio acompañado de muchos caballeros pero cuando abrió la sepultura, sintió separarse del túmulo y se le torció la boca, tras lo que dio inicio una fuerte tormenta. Al parecer que el cielo se oponía al traslado se marcharon, pero parece que el obispo conservaría la deformación de su cara de por vida.
Cuenta Grimaldo que poco después de la conquista de Toledo (1085, realizada por el rey Alfonso VI de Castilla), el abad Blas del Monasterio de San Millán, habiendo leído en la vida de san Millán que su maestro san Felices había fallecido en el Castillo de Bilibio y que se encontraba allí sepultado en un terreno tan escabroso que no se le daba el culto que se merecía por su gran santidad, se decidió a trasladar las reliquias a su monasterio. No se sabe bien porqué, pasaron unos años hasta que continuó su iniciativa, solicitando permiso al señor del Castillo de Bilibio, Lope Íñiguez. Éste les indicó que el permiso deberían solicitarlo al rey Alfonso VI, a quien pertenecía el castillo. Al preguntarle a este contestó:
Paréceme padre Abad negocio grave y dificultoso inquietar ni mover el cuerpo de un Santo; pero porque no parezca que soy contrario a tan justos deseos id con la bendición de Dios y si os place trasladad el Cuerpo de San Felices como lo deseáis y si en esto sucediese algún mal suceso o infortunio no se me cargue a mi la culpa que desde aquí me desligo a esta traslación.
Poco después el abad junto con doce monjes se dirigieron hacia Bilibio. Así el 6 de noviembre de 1090[5] la guardia del castillo, previo permiso de Lope, les abrió las puertas y por la dura pendiente subieron hasta un gran llano sobre la cumbre donde dijeron una misa. Después se dirigieron a la sepultura de Felices, que se encontraba en la punta de una peña, a la parte del oriente, delante del altar de la ermita fundada en aquel lugar en una cuevecilla hecha a pico de cantero con algunas labores de cantería para adorno. Rota la bóveda de ésta, encontraron un ataúd de madera que contenía el cuerpo. Al descubrirse el túmulo indica que salió una exquisita fragancia (Hergueta indica que el olor podría deberse a que antiguamente junto a los cuerpos se enterraban vasijas con aromas). Envolvieron las reliquias en paños muy limpios y las llevaron con éxito al Monasterio de San Millán de Suso.[6] El traslado debió aumentar la fe en este Santo, puesto que varios son los milagros documentados ocurridos a personas que se dirigieron a él en rogativa