El Castillo de Villanueva del Fresno es otro de los símbolos importantes de las luchas en la frontera hispano-lusa, aunque poco conocido. Es una fortificación medieval que data del siglo XIV y de la que poco se conserva, restos de sus lienzos, algunos bloques del tapial, un aljibe cerrado y el polvorín. Actualmente se encuentra en proceso de restauración, y el perímetro esta vallado.
Según varios escritos podemos hacernos una idea de como era este castillo fortaleza:
"del castillo partía una muralla que rodeaba toda la villa, además de esta muralla existía otra de fuertes y altos muros, con torreones que protegían la fortaleza, en el núcleo de la fortificación se elevaban tres torres, la más alta de ella era conocída como "Torre del Castillo", de planta cuadrangular, de grandes dimensiones y recios muros. La muralla exterior era rodeada por una barbacana de foso muy ancho".
En la historia del castillo existen dos hitos importantes, en primer lugar en el año 1385 en la Batalla de Aljubarrota, el Condestable D. Nuno Álvarez Pereira entró en la ciudad para liberar a una serie de prisioneros que previamente los soldados Gascones de la Guarnición de la villa había apresado en Portugal, es en este momento donde la fortaleza empieza a tomar importancia.
El 8 de octubre de 1643 el Gobernador de Armas Matías de Alburquerque encabezando un ejército portugués compuesto por al menos 12.000 infantes y 2.000 jinetes, alcanzan la Fortaleza de Villanueva del Fresno. Tras 10 días de asedio y una cruenta batalla, la guarnición de la villa, que contaba con 700 infantes y 70 soldados a caballo se rinde. El Gobernador de la Villa, D. Francisco de Geldres hace entrega de la plaza el día 18 de octubre. Y tres años después tanto la fortaleza como la villa fueron minadas y voladas.
