Entre ambos hubo un acuerdo, el moro le trataría fielmente y le proporcionaría todo lo necesario para que no le faltara de anda en su estancia en Toledo, el cristiano juro ser leal y ayudarle en lo que necesitase y claro esta no salir de los límites de la ciudad sin su licencia.
La vida de Alfonso era muy desahogada y tranquila, sus principales diversiones eran la caza, paseos por los bellos parajes de Toledo, charlar con los hombres más cultos del reino de Al-Mamun y por supuesto los torneos.
Al-Mamun acudió un día al palacio de Galiana invitado por Alfonso a un ágape, con el rey musulmán acudieron también consejeros y hombres de confianza. Después de la comida la conversación entre estos discurrió hacia la ciudad de Toledo, se afirmaba su gran fortaleza e inexpugnabilidad. Estaban platicando sobre el tema cuando Al-Mamun con rostro preocupado se levanto y salió al jardín, Inmediatamente detrás de él salieron sus hombres de confianza y consejeros. Como era la hora de la siesta y hacía calor se sentaron debajo de unos árboles sobre la jugosa y fresca hierba. De esta forma tras sentarse empezaron a hablar sobre los puntos débiles de Toledo, y ahí fue cuando se suscito una conversación, unos decían que Toledo jamás podía ser tomado por la fuerza mientras otros afirmaban que si quitasen el abastecimiento durante 7 años seguidos tomando los campos viñedos y arboledas, todos asintieron pero llegaron a la conclusión de que necesitarían gran gasto de soldados y dinero para poder resistir siete. Mientras esto discutían Alfonso desde lejos les oía discutir pero el tono de estos era muy bajo y decidió acercarse a unos matorrales que estaban cerca y tumbarse para escuchar lo que decían.
La discusión fue acallada por Al-Mamun y todos le escuchaban atentos cuando decía que Toledo tenía un gran punto débil, la fachada que daba al este, no tenia río, seria muy fácil entrar por ese lado. Mientras todos le escuchaban empezaron a caminar para desperezarse, en ese momento fue cuando vieron a Alfonso tumbado sobre la hierba dormido. Todos se sobresaltaron pero Al-Mamun para comprobar si verdaderamente estaba dormido se le ocurrió una treta. En voz baja para no despertarle pero suficientemente alta para que lo oyera si se hacía el dormido pidió que le trajeran plomo fundido, al instante trajeron la marmita y el fuego y lo derritieron allí mismo.
Alfonso tenia una mano extendida y una vez derretido pensaban acercárselo a la mano, de esta manera si estuviera despierto la quitaría y le descubrirían, poco a poco le fueron acercando el plomo ardiendo a la mano y no la quitó. Sólo cuando el plomo ardiendo toco su mano chilló de dolor como un lobo, Al-Mamun tras lo visto respiro tranquilo y supuso que estaba dormido.
Si estaba dormido eso nunca lo sabremos, lo que si sabemos es que tiempo después cuando Al-Mamun ya no reinaba Toledo Alfonso entro en la ciudad por la puerta del este, desde entonces esa puerta recibe el nombre de la Puerta de Alfonso VI el de la mano Horadada.