En la calle de Segovia esquina a la cuesta de Los Caños Viejos se encuentra una casa nueva que tiene un escudo de Madrid en su fachada; data del siglo XVII y es el escudo más antiguo que se conserva de la Villa. La actual casa sustituye a la que había anteriormente, derribada en 1972, que se llamaba la Casa del Pastor, una casa del siglo XVI. Los nuevos dueños se comprometieron a poner en la fachada el escudo.

La casa era propiedad de un clérigo llamado José, muy conocido en el barrio, por su vida modélica y caritativa. Pasó una noche cuidando a un hombre moribundo de una enfermedad contagiosa. Enfermó y cuando vio que se le acababa la vida, llamó a un escribano y a un aguacil y repartió todos sus bienes. El escribano notó que faltaba la casa en el testamento, y al decírselo le entregó un sobre que tenía que cerrar y sellar; solo se podía abrir cuando él hubiera muerto.

Murió el 26 de agosto de 1877, y al abrir el sobre se pudo leer: “Es mi voluntad expresa y firme que esta casa la herede la primera persona que en el amanecer de mi muerte pase por la puerta de la Vega”, y la primera persona que pasó fue un pastor con su ganado.

En la casa se celebraron sesiones del Concejo de la Villa y en uno de sus pisos habitó José de Churriguera. En la casa contigua estaba la Casa de la Moneda en la que nació Mariano José de Larra “Figaro” en 1809.