V súvislosti so vznikom karmelitánskeho rádu treba spomenúť dve významné udalosti v 11. a 12. storočí: rozkvet pustovníckeho života a pútnický pohyb do Svätej Zeme, známy pod názvom križiacke výpravy.
Ani po skvelom období pustovníckeho života od 4. do 7. storočia nikdy nechýbali v Cirkvi ľudia, ktorí si vyvolili samotu. Avšak v 11. a 12. storočí takáto forma rehoľného života prežíva svoj nový rozkvet. Pričinil sa o to okrem iného úpadok monasticizmu, ktorý sa postupne stával čoraz viac komplikovaný a patril väčšinou pod správu veľmi rozľahlých majetkov patriacich do opáctiev. Ako reakciu na to treba chápať úsilie o úplnú chudobu a askézu, ako aj odchod na neobývané územia: masy pustovníkov zaľudnili husté lesy Anglicka, Lotrinska, západného Francúzska, severného Talianska, Kalábrie a Sicílie.
Medzi pustovníkmi sa vždy našli aj pútnici. Privilegovanými cieľmi ich putovania boli Santiago de Compostela, Rím a Svätá Zem. Púte, podobne ako križiacke výpravy, mali často charakter pokánia, umocnený akýmsi prísľubom.
V 12. storočí mohli križiaci úplne kontrolovať Svätú Zem, keď Jeruzalemské kráľovstvo bolo slobodným zväzkom jednotlivých kniežatstiev. Popri kláštoroch, patriacich do veľkých rádov, vznikali v celej krajine aj početné pustovne, v ktorých eremiti slúžili Pánovi v chudobe a prísnej askéze.
Nadvláda križiakov skončila v roku 1187 po víťazstve egyptského sultána Saladina; jedine Týr zostal v rukách kresťanov. A tak pustovníci prišli o možnosť nasledovať formu života, ktorú si sami zvolili.
Nasledujúce križiacke výpravy nesprevádzal veľký úspech. Napriek tomu sa križiakom podarilo čiastočne vďaka ozbrojeným víťazstvám, čiastočne vyjednávaním získať späť pobrežie Týru až po Jaftu. A neskoršie, taktiež vďaka vyjednávaniam, získali Jeruzalem (s chodbou, ktorá viedla do Jafty), Nazaret a západnú Galileu.
Po všetkých týchto udalostiach zostala pustovníkom iba jedna oblasť, jedno územie vhodné pre ich život: Karmel.
Karmel je horským pásmom, rozprestierajúcim sa severozápadne od Megidda až po Stredozemné more, do ktorého zasahuje svojím predhorím. Tu tvorí južnú stranu zátoky Hajfy. Pásmo meria 33 kilometrov pozdĺž pobrežia. Jeho severovýchodná časť hraničí s rovinou Izreel, ktorá sa často spomína v Starom zákone, a meria okolo 22 kilometrov pozdĺž potoka Kišon. Pásmo Karmelu meria 169 metrov a jeho najvyšší vrchol má 551 m.
Prístup na Karmel je zo všetkých strán ťažký; hora je bohatá na úvozy a doliny, žiadna z nich však nepretína pásmo.
Asi okolo roku 1200 sa franskí pustovníci usídlili pri prameni Eliáša (wad´ ain es-siah), v doline, ktorá je zo západnej strany otvorená na more a leží asi 3 kilometre na juh od pásma Karmelu. Neustále tečúci Eliášov prameň poskytoval po celý rok dostatočné množstvo vody.
V tejto doline žili eremiti, Pánove „včely“, v celách podobných včelím príbytkom, a „vyrábali duchovný med”. Jeden z nich, akýsi “B”, plnil vedúcu úlohu. Po istom čase sa pustovníci rozhodli prijať organizovanú formu života. Poprosili pápežského legáta a Jeruzalemského patriarchu Alberta z Vercelli, aby napísal a schválil ich spôsob života vo forme reguly. Bolo to medzi rokom 1206 a 1214. Regula spája pustovnícky (eremitský) život s kláštorným a nariaďuje neustálu modlitbu, chudobu a prácu s cieľom zarobiť si na každodenný chlieb.
Eliášov prameň, okolo ktorého eremiti žili, mal hlboký vplyv na ďalšiu históriu rádu. Postavy prorokov Eliáša a Elizea – obaja žili na Karmeli – mali veľký vplyv na veriacich tej doby. Pre eremitov mal však väčší význam príklad Eliáša, pretože jeho pokladali podľa vtedajšieho chápania za zakladateľa a vzor pustovníckeho života. Pustovníci si uvedomovali zvláštne postavenie Karmelu, keď si vybrali práve toto miesto; dobre vedeli, že pokračujú v spôsobe života, ktorý na tomto mieste kedysi začal Eliáš.
Z listu istého francúzskeho pútnika z roku 1229 sa dozvedáme, že oratórium vybudované uprostred ciel bolo zasvätené Najsvätejšej Panne Márii. Postupne sa pustovníci žijúci na Karmeli stáli známi ako Bratia Najsvätejšej Panny Márie z hory Karmel. Tento titul sa po prvý raz objavuje v roku 1252 v jednom z pápežských listov.
V roku 1226 karmelitáni obdržali od pápeža Honoria III. potvrdenie svojej formy života. O tri roky neskôr Gregor IX. obnovil toto potvrdenie, pričom ustanovil schválený text Alberta z Vercelli ako regulu. Zároveň nariadil, aby pustovňa patrila pod bezprostrednú starostlivosť Apoštolskej stolice, čo znamenalo prvý krok pre rozvoj karmelitánskeho rádu.
Politické pomery vo Svätej zemi sa pre kresťanov stali nepriaznivými a čoraz viac ťažšími. Možno preto dochádza k prvým fundáciám (zakladaniam) mimo Svätej zeme: na Cypre, na Sicílii (Messina), v Anglicku (Aylesford a Hulne – r. 1242) a čoskoro v Lossenhame a Bradmeri. Už v roku 1235 bol založený prvý kláštor (fundácia) v Európe – vo Valenciennes v severnom Francúzsku.
Karmelitáni najprv hľadali v Európe možnosti, ako by mohli pokračovať v pustovníckom živote; avšak už onedlho boli nútení požiadať pápeža o zmiernenie ich reguly. Pápež Innocent IV. dňa 1. októbra 1247 zverejnil zmenenú regulu karmelitánov. Zmeny neboli veľké, ale znamenali ďalekosiahle dôsledky. Odvtedy karmelitánske kláštory vznikali väčšinou v mestách. Na prvé miesto sa dostal činný apoštolát, napriek tomu, že to nebolo v pláne, keď sa menila regula.
Skutočnosť, že karmelitáni prevzali dušpastiersku (pastoračnú) službu, viedla v priebehu nasledujúcich sto rokov k takmer nevyhnutnému pripodobneniu sa novovzniknutým žobravým rádom františkánov a dominikánov, ktoré v tom čase v Cirkvi prežívali rozkvet a rýchlo sa rozšírili ako adekvátna odpoveď na potreby a problémy kresťanstva. Význam a dôležitosť týchto nových rádov si uvedomovali predovšetkým pápeži, ktorí ich veľmi podporovali a zahrnovali privilégiami. Od roku 1281 tieto rády už nepodliehali právomoci biskupov. Znamenalo to, že pre väčšinu svojej pastoračnej činnosti nepotrebovali osobitné povolenie miestneho ordinára. Popri niektorých rádoch aj karmelitáni zmenili svoj štýl života a stali sa „mendikantmi“ – žobravými mníchmi, ako ich oficiálne nazývali. Do roku 1262 nadobudli postupne väčšinu provilégií františkánov a dominikánov.
Okrem toho sa v tom čase pomerne malý rád musel dosť dlho starať o svoje uznanie. Po niekoľkých porážkach karmelitánsky rád získal konečne v roku 1326 od pápeža Jána XXII. rovnaké privilégiá a práva ako františkáni a dominikáni.
Ženská vetva rádu vznikla až o 200 rokov neskôr. Bl. Ján Soreth (1394 – 1471, spomienka 28. júla) ako generálny predstavený obnovil ducha rádu v rokoch 1451 až 1471. V roku 1452 získal pápežské povolenie pričleniť k rádu karmelitánov niektoré ženské komunity a v roku 1462 potvrdil ich štatúty. Preto ho možno považovať za zakladateľa ženskej karmelitánskej vetvy, takzvaného druhého rádu. Ján Soreth schválil aj regulu a štatúty pre 3. rád, ktorý sa tiež odvodzuje od karmelitánskeho rádu.