En el lugar donde actualmente se encuentra situado, existía una antigua defensa de la cala, construida (o restaurada) por los portugueses sobre los cimientos de otras fortificaciones romanas o árabes, se denominó Finis Térrea.
Castillo y cala del Desnarigado.
Su nombre actual se debe a un pirata berberisco llamado Desnarigado. Posiblemente era un esclavo condenado en las minas del Rif, ya que en los tiempo de la dominación musulmana a todos lo forzados que trabajaban en aquel lugar se les practicaba un profundo corte en el apéndice nasal al objeto de ser fácilmente reconocidos en caso de evasión. El protagonista de esta historia consiguió huir acompañado de un pequeño grupo de seguidores, que después de alcanzar la costa, se apoderaron de tres bajeles que les permitieron ejercer la piratería en las costas del Estrecho de Gibraltar con base en Ceuta.