Está situado en la calle del Pez, entre la de San Roque, por donde se entra en el número 9, y la calle Madera. Lo mandó construir don Jerónimo de Villanueva para que profesara su novia, que había preferido los hábitos a casarse con él.  Tan enamorado estaba, que se construyó un palacio al lado del convento, comunicado con él por un pasadizo. El pasadizo lo usaba también su amigo Felipe IV, que se enamoró de una monja, sor Margarita de la Cruz, a la que visitaba asiduamente (Felipe IV tuvo 40 hijos naturales).

Para poner fin a estas visitas, la priora y fundadora del convento sor Teresa Valle de la Cerda, ideó una argucia para solucionarlo. Sabiendo a qué hora llegaba el rey, metió a Sor Margarita en un ataúd como si estuviera muerta y situó a las demás monjas rezando a su lado. Fue tal la impresión que le causó al rey que se desmayó y se lo llevaron por el mismo camino que había ido, y no recobró el conocimiento hasta que llegó a palacio. Esta es la leyenda, pero el rey encargó a Velázquez un Cristo para la sacristía, donde estuvo muchos años, y ahora está en el Museo del Prado.

En 1631 la Inquisición encarceló a varias monjas y al capellán, por supuestas posesiones diabólicas, en las relaciones nada santas con el capellán Fray Francisco García Calderón.

El convento a día de hoy está cerrado porque no hay ninguna monja, debido a la falta de vocaciones y a no admitir como novicias a las no nacidas en España.