Las Carmelitas Descalzas llegan a Chile en diciembre de 1689 provenientes del monasterio del Carmen de San José de Chuquisaca, Alto Perú (hoy Sucre, Bolivia), por petición de los habitantes de Santiago para expiar las profanaciones y sacrilegios cometidos en La Serena por el pirata inglés Bartolomé Sharp en 1680, quien saqueó las iglesias y prendió fuego a la ciudad.
El Rey de España, Carlos II, les otorga las licencias y se instala el primer Carmelo en Santiago el 6 de enero de 1690, el Monasterio del Carmen de San José.
Posteriormente, en el año 1762, el Corregidor de Santiago Luis Manuel Zañartu solicita al Rey Carlos III de España, fundar un convento de las monjas Carmelitas en el barrio de La Cañadilla, en la ribera norte del Mapocho (hoy Av. Independencia). En julio de 1766, el rey concede Real Licencia para construir dicho monasterio y cuyas obras comienzan en octubre de 1767 y concluyen en octubre de 1770. La obra fue totalmente financiada por el fundador.
La advocación del monasterio fue del Arcángel Rafael y la iglesia dedicada a la Madre Santísima del Carmen. De esta manera, queda fundado el Monasterio del Carmen Bajo de San Rafael.
Desde el Monasterio de San José, salieron cuatro carmelitas a las que luego se sumaron 6 santiaguinas. Pocos años después el convento ya contaba con 21 religiosas.
En 1783, el convento enfrentó una gran inundación y desborde del Río Mapocho lo que ocasionó grandes daños en los muros de adobe del monasterio. Cuenta la historia que la imagen de la Virgen de Dolores flotaba milagrosamente sobre las aguas, teniendo a los lados dos velas encendidas. Actualmente, dicha imagen se encuentra en la comunidad Carmelita de la Reina. A raíz de esta inundación, las carmelitas tuvieron que abandonar momentáneamente el monasterio y fueron recibidas por los padres de la Recoleta Domínica, por lo que las religiosas guardan mucho agradecimiento a dicha congregación.
Otra gran inundación en el año 1827 y el fuerte temblor de 1850, aumentarían el daño ya presente en los muros, además de afectar considerablemente los cimientos y la torre de la iglesia.
En 1870, el arquitecto Fermín Vivaceta realizó algunas transformaciones en la iglesia, refaccionando la fachada y la estructura, además de levantar una nueva torre coronada por el Arcángel San Rafael.
En el año 1887, esta comunidad da origen a la fundación de la primera Gruta de Lourdes. La primera imagen se llevó desde esta iglesia hasta la gruta y en el trayecto la Santísima Virgen, obrando milagrosamente, le devolvió la vista a un ciego.
Al crecer la ciudad estos barrios se hicieron muy ruidosos haciendo que el Carmelo de San Rafael se trasladara a La Reina el año 1958, donde actualmente las religiosas desarrollan su vida silenciosa en oración.
El conjunto de la iglesia y monasterio fue declarado Monumento Nacional en 1983 y, desde 1985, acoge la sede de la Vicaría Episcopal Zona Norte del Arzobispado de Santiago.
La iglesia, actualmente, presenta daños por el terremoto del 27F y se encuentra cerrada para el público en general.