La localidad salmantina de Puente del Congosto, con un origen que se remonta al siglo XI, pasó a formar parte del realengo de la Tierra de Ávila hasta que en 1393, fue donada por Enrique III de Castilla a Gil González Dávila, siendo posteriormente cabeza del Señorío de la Villa y Tierra de Puente del Congosto. En 1500, los Reyes Católicos ordenan construir el puente que se conserva, cimentado sobre la roca de granito, del que quedan vestigios de torre defensiva, así como también de una puerta lateral. Delante del puente, surge un castillo, poco más o menos coetáneo, por lo que es probable que el señor de Puente del Congosto, en el siglo XVI, tuviese derecho a cobrar peaje del tráfico que cruzaba el puente.

Por ello, la localidad de Puente del Congosto conserva un conjunto de alto interés patrimonial, como testimonio material y documento histórico del entramado aduanero interior del reino y de la realidad del sistema económico propio de la sociedad de la época, conformado por el castillo de los Dávila y el puente fortificado sobre el rio Tormes, que forman desde sus orígenes, un interesante conjunto coetáneo y funcional, por donde transcurre la Cañada Real Soriana Occidental.

El castillo, que por su propio carácter posee ya la categoría de Bien de Interés Cultural, se encuentra ubicado en la margen izquierda del río Tormes y tiene un carácter defensivo y de control estratégico del paso del puente sobre el río. La historia de su construcción comienza en 1393, con el caballero Gil González Dávila señor de estas tierras y sus descendientes. Más tarde, fue transferido a la orden de Calatrava, y parece ser que la reina Isabel I pernoctó en dicho castillo y también Carlos V se alojó en él, de camino a Yuste. En 1539, tras la guerra de las Comunidades pasó a manos del Ducado de Alba hasta 1881, cuando, una vez extinguido el cobro del portazgo, fue vendido. Actualmente es de propiedad privada.

Ubicado sobre el escarpe que forma la ribera del Tormes, el castillo se encuadra dentro de un amplio recinto por altos muros, a los que se adosa el cementerio. Su planta, tiene forma de hexágono irregular con un cubo en un extremo de la cerca y un gran patio de armas que da el acceso al recinto interior. Un grueso muro separa el patio de armas del resto de la fortificación, formada básicamente por una gran torre de planta rectangular distribuida en cuatro plantas a la que se adosa otro cuerpo de tres plantas y azotea, construido años más tarde que aquél. El acceso a la planta baja del alcázar se efectúa desde otro patio enlanchado, bajo el que se ubica un magnífico aljibe. En la actualidad el castillo es de propiedad particular y ha sufrido importantes transformaciones para adecuar su uso a la celebración de eventos.

Por su parte, el puente sobre el rio Tormes resulta especialmente interesante por ser el paso de una cañada real y por conservar restos de fortificación en el lado del castillo y sobre uno de los arcos del oeste, donde se conservan restos en ruina de una torre que posiblemente cerraba el paso del puente por la noche, con objetivos fiscales y de defensa. Posiblemente el puente tuvo dos torres gemelas como era costumbre en la época y como se incluye en el escudo de la villa.

Situado al norte del casco urbano, fue construido en los siglos XII y XIII, en fábrica de sillares y mampostería, muy similar a la del castillo y cimentado sobre el lecho granítico del rio. Quedan vestigios de una torre sobre el primer pilar de la margen izquierda y restos de la unión con el castillo a través de una puerta y otra torre. La mitad este presenta seis arcos que disminuyen progresivamente y su superficie está inclinada