Debido a su situación estratégica, el casco histórico de Hondarribia estuvo fortificado durante siglos. De aquella estructura defensiva se conservan la muralla, las dos puertas de entrada, el cubo de Santa María, el baluarte de la Reina, la fortificación de San Nicolás y el bastión de Santiago. El corazón de la zona antigua se encuentra en los alrededores de la Plaza de Armas. En dicha plaza se levanta el Castillo de Carlos V, convertido en Parador de Turismo, cuyo origen se remonta al año 980. Cerca está la Iglesia de Santa María de la Asunción y del Manzano, del siglo XVI, que combina elementos góticos, renacentistas y barrocos.
Las calles aledañas son un bello muestrario de casas y edificios singulares en los que llaman la atención los aleros tallados, escudos y balcones de hierro forjado.