Construcción originaria del siglo XII, fue derribado durante la Revuelta Irmandiña y reconstruido por Pedro Madruga, con quien alcanza su máximo esplendor durante los años finales del siglo XV. A finales del siglo XVIII pasó a ser propiedad del Marqués de la Vega de Armijo, quien lo transformó en una residencia de verano, construyendo en estos años la famosa galería de las damas de estilo neogótico. Su sucesora fue la Marquesa de Ayerbe, María Vinyals para ser recientemente adquirido y restaurado por la Excma. Diputación de Pontevedra. El estado de conservación es bueno, aunque ha sufrido importantes reformas a lo largo de su dilatada historia. Sobresale la llevada a cabo en 1780, según reza inscripción, o la realizada en los últimos años del siglo XIX, aproximadamente hacia 1870, a cargo del mencionado Marqués de la Vega y Armijo. La balconada pseudogótica y el almenado del cuerpo principal son de esta última reforma. Sin embargo, el castillo conserva gran parte de época antigua, sus dos altas murallas almenadas, con sus cuerpos defensivos y caminos de ronda, el patio de armas, antiguas puertas, la poterna, matacanes, troneras, restos del puente levadizo con sus defensas, la gran torre del homenaje, la cárcel abovedada en un sótano, etc. Desde las murallas, torre y edificio, se contempla uno de los paisajes más bellos de las Rías Bajas, el Valle del Oitavén. Por su riqueza histórica, su bonito emplazamiento y su belleza arquitectónica es la fortaleza de Galicia más importante que se conserva.