A  comienzos del s.XVI el arzobispo de Compostela y su sucesor tuvieron un litigio por la propiedad de los castillos de la mitra compostelana, conocido como “Pleito Tavera-Fonseca”. En él se recogen las declaraciones de ancianos que habían visto con sus propios ojos muchos de los castillos destruídos por los Irmandiños. La fortaleza de Peñafiel aparece citada en las declaraciones de varios testigos.

​

“… el dicho castillo de Peñafiel que hes en el alfoz de Muros estando el testigo en el Hescaro quen es al pie de la sierra donde esta el dicho castillo e desde abajo bido el dicho castillo e que le paresçia que tenia una barezica de casa pequeña e su çerquecita e questaba muy alto en uno peñascos…”