Durante el reinado de Carlos III, y en el año 1768, se construyó este edificio por la muy ilustre Congregación de San Cayetano y Animas, dedicándola a parador y llamada «POSADA DE LAS ANIMAS», cuyos beneficios lo dedicaban para el culto de las Benditas Animas del Purgatorio.
Este edificio se construyó según los planos del insigne arquitecto Juan de Villanueva, realizador también de la llamada «Casita del Príncipe, de Abajo» en este Real Sitio de San Lorenzo de El Escorial, así como el Museo del Prado en Madrid.
Se le conoce también a este edificio con el nombre de «La Casa del Balcón de Piedra», por su magnífico balcón emplazado en la parte superior de la entrada principal de la casa.
También sirvió esta Posada, como refugio para muchas personas ilustres, huidas durante la invasión francesa.
Desde su fundación, siempre se ha dedicado esta Casa a hospedaje y, a partir del año 1961 y, en la actualidad, funciona como mesón-taberna «LA CUEVA».