Sobre os afloramentos graníticos do “Pedrullo”, houbo un Castelo roqueiro que formou parte da rede de castelos costeiros erixidos contra os ataques marítimos dos viquingos e sarracenos, que ordenou construír o bispo Sisnando II no s.X.

O Castelo de San Xurxo aparece amplamente documentado ó longo da Idade Media. En varios documentos pódese apreciar como as doazóns ían sucedéndose, sendo un reflexo da inestabilidade da época.