« Château ancien, primitif, et forteresse », comme l’a défini le géographe arabe Al Idrissi au 12e siècle, il conserve peut-être le nom de son propriétaire Eufemio.
Élevé sur une structure précédente, il fut le siège du gouverneur du roi, la demeure des seigneurs de la ville et il accueille une prison depuis le 17e siècle.
De plan irrégulier, avec une cour intérieure, il était protégé de murs sur trois côtés et muni de tours quadrangulaires. En raison de sa situation en hauteur, il fut durant de longues années une forteresse imprenable et une source de sécurité pour les habitants.