En la calle Mayor esquina a Esparteros se situaba el convento de San Felipe el Real de los frailes agustinos descalzos. Tenía una plataforma que daba a las dos calles para igualar el terreno, protegida por una fuerte baranda. El convento fue mandado construir por Carlos I en 1547 y demolido en 1838, tras la desamortización de Mendizábal, para ensanchar la calle Mayor.

En la plataforma y las gradas quedaban acceso se reunía lo más pintoresco de la villa y corte: aldeanos con negra montera y traje de pana; rostros quemados por el sol, esperando como punto de encuentro a algún paisano que lo introdujera en la vida de la urbe; chulos barriobajeros con ojos cargados de mucho vino y poco sueño, con parpusas de medio lado, chaqueta ceñida y sedoso pañuelo al cuello a ver si caía alguna oportunidad; paseantes de corte; cocheros de punto; modistillas con la obra en una cesta apoyada en la cadera, siempre provocativas; vendedores de periódicos… También se juntaban allí hidalgos desocupados que antes o después de misa comentaban en corrillos las noticias del reino de aquí o de más allá de los mares.

Escritores como Lope de Vega —que en horas 24 pasó de las musas al teatro—, Tirso de Molina, Quevedo, Zorrilla y otros muchos acudían a ver si de los chascarrillos podían sacar algún tema importante para sus obras.

Los ciegos de Madrid que, agrupados en la Hermandad de Ciegos de la Corte, disfrutaban de algunos monopolios (venta de gacetas, almanaques, folletines, etc.) tenían en las gradas de San Felipe su punto de reunión y venta.

Tal era la importancia del convento que no había procesión civil o religiosa que no pasara por las gradas de San Felipe. Pero todo tiene su final. En el monasterio se instaló la caballería napoleónica y, muy deteriorado después de la ocupación, siguió siendo cuartel hasta su demolición.  En su solar se construyó el primer edificio de apartamentos de Madrid, las Casas de Cordero.