A  comezos do s. XVI o arcebispo de Compostela e o seu sucesor tiveron un litixio pola propiedade dos castelos da mitra compostelá, coñecido como “Preito Tavera-Fonseca”. Nel recóllense as declaracións de anciáns que viran cos seus propios ollos moitos dos castelos destruídos polos Irmandiños. A fortaleza de Peñafiel aparece citada nas declaracións de varias testemuñas.

​

“… el dicho castillo de Peñafiel que hes en el alfoz de Muros estando el testigo en el Hescaro quen es al pie de la sierra donde esta el dicho castillo e desde abajo bido el dicho castillo e que le paresçia que tenia una barezica de casa pequeña e su çerquecita e questaba muy alto en uno peñascos…”