Que existió un castillo-fortaleza, ubicado en el oteruelo calizo y arcilloso y cuya toponimia es "el Castillo" no admite lugar a dudas, y que la historia antigua de Guardo ha estado vinculada a él, tampoco. Pocas son las referencias históricas de este emplazamiento y pocos los datos de tradición oral que se recuerdan, si bien las excavaciones que se han realizado mediante un campo de trabajo, van despejando algunas incógnitas. Estuvo rodeado de una muralla que se mantuvo parte de ella hasta bien entrado el Siglo XIX y adosada a esta una ermita llamada de Nuestra Señora del Castillo que aparece como parroquia hasta el año 1750 con su necrópolis.

En el sistema defensivo de Alfonso I, esta villa suponía una posición estratégica que permitía controlar una extensa zona y cruce de comunicaciones, de ahí el Castillo con el que contaba y que figura en el escudo de la localidad. Dicho Castillo dividía los reinos de León y Castilla.

Sabemos también que, en el siglo XIII, el Rey Alfonso VII ordenó «mantener el castillo de Guardo y las huestes que lo habitan siempre guarnecidas»



El castillo, emplazado sobre un otero a 1.150 metros de altura, permitía controlar un importante nudo de comunicaciones. A mediados del siglo XIX ya se encontraba arruinado y se mantuvo en pie hasta finales de ese siglo. Hoy sólo se conservan los restos de una torre y de la muralla que le rodeaba. Al parecer las explosiones en unas canteras próximas provocaron el derrumbe de sus muros, cuyas piedras fueron empleadas en las obras del ferrocarril minero.

Las excavaciones realizadas hace unos años permitieron sacar a la luz diversos restos de la torre, que parece seccionada horizontalmente. Así, el muro NE, único que se muestra entero, tiene una longitud de 14 metros y una anchura de 2,50. Se asienta sobre un zócalo que sobresale medio metro. Su altura máxima, debido a las irregularidades del terreno, es de 1,70.

De los lienzos NO y SE son visibles 8 y 3,5 metros, respectivamente, al estar el resto oculto bajo el terreno. La anchura es también de 2,50. Todo el conjunto esta construido con mampostería. Rodea por el NE y SE una barrera que se separa apenas medio metro de la torre, conservándose una altura máxima de 1,40.