Los restos del pico Peñafiel apuntan que aquí hubo una antigua construcción. Según las fuentes de la época, un castillo que fue destruido por los Irmandiños. La falta de estudios arqueológicos no permite dataciones, pero hay hipótesis que aseguran que tanto la estructura como la situación estratégica son claramente altomedievales. El origen de esta fortaleza es incierto, pero ya aparece en varios documentos medievales. En 1384 la mitra compostelana adquiere unas propiedades que pertenecían a los herederos de Ruy Soga de Lobería, entre las que figuraba el castillo de Peñafiel, por lo que su construcción es anterior a esta fecha.