המסדר הכרמליתי נוסד במקורו על הר הכרמל בתקופת ממלכת הצלבנים בידי נזירים שחיו במערות בהשראת אליהו הנביא. המסדר שגשג והתרחב משם לרחבי אירופה. לאחר נפילת עכו הצלבנית בשנת 1291 גורשו הנזירים מן הכרמל.

בשנת 1631 החלו הכרמליתים במאמץ לשוב ולהתיישב במקום בו נוסד מסדרם. בתיווכו של קונסול צרפת חתם האב פרוספר על הסכם רכישה עם שליט הכרמל, האמיר טורבאי, על מנת להחזיר את המסדר לכרמל. האב פרוספר הקים מנזר ליד מערת אליהו, אך גורש משם בלחצם של המוסלמים על ידי שליט עכו (ובונה חיפה החדשה) דאהר אל-עומר ב-1767. ב-1769 זכו הכרמליתים בפירמאן שבו אישר סולטאן העות'מאני חסות צרפתית על האזור ועל אנשי המנזר; מאז נקרא הרכס וסביבותיו "הכרמל הצרפתי". ב-1767 החל האדריכל ג'מבטיסטה די סנט אלסיו בבניית המנזר החדש, אך נאלץ לעזוב את הארץ ב-1774, לפני שהספיק לסיים את המבנה. ב-1799 החל נאפוליאון במצור על העיר עכו. הבניין הוסב לבית חולים לפצועי הקרבות ולחולי דבר מקרב חייליו. כשנסוג נפוליאון מארץ ישראל הוא השאיר את הפצועים במנזר, וגורלם לא נודע. אחת הסברות היא שהם נרצחו על ידי החיילים הטורקים, על אף שיש עדויות שעצמותיהם נמצאו במורד הרכס מה שיכול להעיד על כך שניסו לרדוף אחרי הכוח העיקרי‏‏.‏[1] את עצמותיהם אסף האב יוליוס, שחזר לאזור ב-1804, וקברָם בקבר אחים. מצבה הוקמה במקום מספר שנים אחר כך.

ב-1821 הורה עבדאללה פאשה, שליט עכו, להרוס את מבנה הכנסייה, ולהשתמש באבניו על מנת להקים לעצמו בית קיץ. ב-1827 החל האב קאסיני (Cassini), חבר המנזר ואדריכל, לבנות מחדש את המנזר. הכנסייה נפתחה ב-1836, והבנייה הושלמה ב-1853. המקום שימש כמנזר, בית חולים ואכסניה. הבניין נבנה כחומה בצורה, עם פתחים קטנים, אות להתנכלויות שהיו לחם חוקו מיום שהוקם. ב-1839 העניק האפיפיור גרגוריוס השישה עשר לכנסייה תואר כבוד של "בזיליקה מינור", כאות לכך שהכנסייה נחשבת "כנסיית אם" של המסדר.

בתקרת הכנסייה ישנם ציורי קיר העוסקים בסיפורי התנ"ך (אליהו הנביא עולה בסערה השמימה, דוד פורט על נבל ועוד) ובקדושי המסדר הכרמליתי. על פי המסורת הנוצרית, הכנסייה ממוקמת מעל מערת אליהו. אגף אחר של המנזר משמש כבית מלון לצליינים. בכניסה לבית המלון ישנה שדרה המשקפת את הוויה דולורוזה שבירושלים. השדרה הושחתה עם השנים, ולכן נסגרה לקהל הרחב. בפתח המלון נמצא פסלה של תרז מליזייה, נזירה כרמליתית שהלכה לעולמה בגיל 23, ושאת רוב חייה הבוגרים עשתה במטבח ("ואת האל מצאתי בין הסירים ומחבתות"). לאחר מותה הוחל תהליך הפיכתה לקדושה‏‏.[2] הבנייה בתוך חצר המלון מאוחרת יותר (1909) וגם בה מוטיבים של מבצר. בפנים בית המלון ישנה כנסייה נוספת, המיועדת למיסות. לכנסייה זו הובאו תחריטים מהמנזר ששכן בבת גלים, שממנו פונו הנזירות על ידי השלטונות (כיום חלק ממתחם בית החולים רמב"ם) למנזר גבירתנו של הכרמל (שניצב על רכס סטלה מאריס).