El actual edificio de dos alturas conserva un patio con restos de la primitiva edificación que fue un palacio de verano del Obispo de Plasencia D. Gonzalo de Stúñiga, frente a la iglesia de Santa María.
Diego López consiguió romper el monopolio del Duque de Béjar y erigirse como Real Fábrica de Paños de Diego López.
Ya que en el año 1782, el rey Carlos III y la Junta de Comercio autorizaron a Diego López a teñir en su Fábrica de Paños, actividad hasta entonces monopolizada por el Duque de Béjar. Así mismo colocó sobre su fachada el Escudo Real, con el Toisón de Oro y la inscripción "Real Fábrica de don Diego López".