Os restos do Pico Peñafiel apuntan que aquí houbo unha antiga construción. Segundo as fontes da época, un Castelo que foi construído polos Irmandiños. A falta de estudos arqueolóxicos non permite datacións, mais hai hipóteses que aseguran que tanto a estrutura como a situación estratéxica son claramente altomedievais. A orixe desta fortaleza é incerta, pero xa aparece en varios documentos medievais. No 1384 a mitra compostelá adquire unhas propiedades que pertencían aos herdeiros de Ruy Soga de Lobería, entre as que figuraba o Castelo de Peñafiel, polo que a súa construción é anterior a esta data.