Założony w 789 r. n.e. Fez początkowo był niewielkim, berberyjskim miasteczkiem. Jego nazwa oznacza prawdopodobnie kilof - narzędzie odkryte podczas zakładania miasta. Nie jest jednak wykluczone, że Fez pochodzi od berberyjskiego słowa „rzeka" - i to wyjaśnienie wydaje się bardziej prawdopodobne zważywszy, że miasto zostało założone przez pierwszego sułtana Maroka Idrisa I, nad brzegiem rzeki: Wadi Fes.
Począwszy od 807 r., kiedy syn i następca założyciela miasta Idris II ustanowił Fez pierwszą stolicą Maroka, zaczęli tu ściągać uchodźcy z dwóch najważniejszych ośrodków ówczesnego islamskiego świata: andaluzyjskiej Kordowy i tureckiego Kairuanu. Otoczony murami obronnymi Fez chronił nie tylko mieszkańców, ale także liczną populację uchodźców. Dzięki nim, osiemset muzułmańskich rodzin z Andaluzji znalazło schronienie nad prawym brzegiem rzeki, zwanym odtąd dzielnicą Andaluzyjczyków, podczas gdy arabscy osadnicy z Kairuanu zamieszkali jej lewy brzeg, w dzielnicy zwanej Adoua El Karaouiyne. Mieszkańców obu dzielnic cechowała znajomość sztuki i wykształcenie; mieli też własną autonomię, zwyczaje i organizację, meczety, bazary i młyny, a łączył ich most Bien El Moudoun. Za ich sprawą nastąpił gwałtowny rozwój miasta tak, że pod koniec X w. Fez stał się niekwestionowanym ośrodkiem kulturalnym, religijnym i gospodarczym Maroka, a Sułtan Idriss II, po śmierci, został obwołany patronem miasta.
W historii Fezu można wyodrębnić trzy głównie okresy rozwoju, z których najstarszy obejmuje panowanie Idrissa II na początku IX w., kiedy to miasto nosiło nazwę Fès El Bali. Drugim etapem był wiek XIII - wówczas miasto nosiło nazwę Fès El Jedid, zaś trzeci obejmuje czasy nowożytne przypadające na wiek XIX i Protektorat Francuski, aż do chwili obecnej.
Złoty wiek w historii tego miasta przypada na okres panowania dynastii Merenidów, zwłaszcza po roku 1250, kiedy Fez ponownie stał się stolicą Maroka. Wtedy to właśnie powstał tzw. Nowy Fez, z pałacem, meczetami i lochami, żydowską dzielnicą „mellah" oraz nowymi murami obronnymi. Miasto doczekało się także innowacji architektonicznych w postaci tzw. medersas (szkoły koraniczne), arystokratycznych rezydencji, foundouks i wielu elementów dekoracyjnych w postaci marmurów, stiuków i fajansowych mozaiek i fontann - motywów charakterystycznych dla najbardziej wyrafinowanej sztuki andaluzyjskiej.
Na początku Protektoratu (1912 r.), generalny rezydent Francji, Marszałek Iyautey oraz ówczesny sułtan państwa, przenieśli stolicę Maroka do Rabatu jednakże Fez nadal pozostaje głównym centrum religijnym, ośrodkiem kultury muzułmańskiej Maroka, a także duchową i kulturalną kolebką tego kraju. Miasto jest również ważnym ośrodkiem gospodarczym i turystycznym. W 1981 r., zabytkowe centrum miasta tzw. Medina w Fezie została wpisana na listę światowego dziedzictwa kultury UNESCO.