Sobre os afloramentos graníticos do “Pedrullo”houbo un Castelo roqueiro que formou parte da rede de castelos costeiros erixidos contra os ataques marítimos dos viquingos e sarracenos, que ordenou construír o bispo Sisnando II no S.X.

​

O Castelo de San Xurxo aparece amplamente documentado ao longo da Idade Media. En varios documentos pódese apreciar como as doazóns ían sucedéndose, sendo un reflexo da inestabilidade da época.