Su fisonomía urbanística le ha valido a Casares el apodo de Pueblo Colgante. Y es que sus calles son estrechas, escarpadas, sinuosas e intrincadas, y sus casitas blancas se disponen sobre éstas encaladas.
El abrupto macizo de roca caliza sobre el que yace el pueblo contribuye a ello.
En lo más alto de éste se alza el Castillo de Casares. Las vistas desde el lugar no tienen desperdicio: valles, colinas y llanuras costeras se extienden desde la Serranía de Ronda hasta la Bahía de Algeciras, teniendo enlaces ópticos con Jimena, Castellar y Gibraltar.