Belgijski ovčar potječe od istog zajedničkog tipa pastirskih pasa kao i slične zapadnoeuropske pasmine poput Bouviera des Ardennes, nizozemskog ovčara i njemačkog ovčara, te su ga stoljećima koristili belgijski pastiri za taj zadatak. Za razliku od drugih europskih zemalja gdje su tijekom devetnaestog stoljeća pastirske pasmine standardizirane i uzgajivači su nastojali očuvati njihove karakteristike, krajem stoljeća belgijski ovčar postajao je zastario i bio je u opasnosti od izumiranja. Godine 1891. osnovan je Club de Chien Berger Belge s ciljem očuvanja pasmine, a tim predvođen Adolpheom Reulom s Veterinarske škole u Cureghemu proveo je terensko istraživanje. Budući da se belgijski ovčar stoljećima uzgajao zbog radnih sposobnosti, uz malo pažnje posvećene izgledu, Reul je otkrio da se tip znatno razlikuje u izgledu. Kao dio svog rada, njegov tim okupio je 117 jedinki i započeo proces standardizacije u različite varijante. Klasificirajući ih kao jednu pasminu, tim ih je u početku podijelio u šest različitih varijanti na temelju vrste dlake i boje; između 1892., kada je izrađen prvi standard pasmine, i 1956., priznavano je između dvije i osam varijanti od strane Club de Chien Berger Belge ili Société Royale Saint-Hubert.
Godine 1905. odlučeno je da se međusobno križanje različitih varijanti zabrani, no poremećaji uzrokovani Prvim svjetskim ratom doveli su do pada broja pasa, pa je 1920. odlučeno da se ponovno dopusti parenje između varijanti kako bi se očuvala pasmina i izbjegli problemi s inbreedingom. Drugi svjetski rat ponovno je ugrozio opstanak pasmine te je krajem 1945. odlučeno da se takva parenja ponovno potiču, a pažljivim uzgojem belgijski ovčar se brojčano oporavio. Godine 1956. usvojen je sadašnji standard pasmine koji definira četiri danas poznate varijante: Groenendael, Laekenois, Malinois i Tervueren.
Smatra se da je varijanta Groenendael nastala 1885. zahvaljujući Nicholasu Roseu, vlasniku dvorca Château de Groenendael. Rose je posjedovao dugodlaku crnu belgijsku ovčarku po imenu „Petite“, a toliko mu se svidio njezin izgled da je više od godinu dana tražio odgovarajućeg mužjaka, kojeg je naposljetku pronašao u psu po imenu „Piccard D'Uccle“, u vlasništvu pastira gospodina Beernaerta. Ova dva psa smatraju se temeljnim jedinkama te varijante. Njihovi najbolji potomci bili su „Duc de Groenendael“ i „Barroness“, koji su se široko parili s belgijskim ovčarima različitog izgleda, pri čemu su se zadržavali crni potomci. Rose je isprva želio nazvati varijantu „Rose“, ali se smatralo da bi to moglo izazvati zabunu zbog njihove crne boje, pa su nazvani po njegovu dvorcu, Groenendael. Tijekom Prvog svjetskog rata Groenendaeli su korišteni u belgijskoj vojsci za pronalaženje ranjenih vojnika i prijenos poruka. Njihova hrabrost bila je prepoznata od strane američkih vojnika, te su nakon rata neki primjerci uvezeni u SAD; i danas se u SAD-u naziv Belgian Shepherd ili Belgian Sheepdog često odnosi na Groenendaela.
Varijanta Malinois smatra se prvom koja je dosljedno pokazivala tipične karakteristike, te su u jednom razdoblju u Belgiji ostale varijante bile zajednički nazivane „ostale osim Malinoisa“, jer je upravo Malinois bio mjerilo za usporedbu. Ime je dobila po regiji Mechelen (Malines na francuskom), gdje je ta vrsta dlake bila najčešća među lokalnim pastirima.
Laekenois je oduvijek bio najrjeđa varijanta; ime je dobio po dvorcu Laeken, rezidenciji belgijske kraljevske obitelji. Bio je omiljen kod kraljice Marie Henriette, koja ih je često promatrala dok su služili pastirima na kraljevskim imanjima oko dvorca, što je pridonijelo njihovoj tadašnjoj popularnosti. Osim za čuvanje stada, ovi grubodlaki belgijski ovčari tradicionalno su korišteni kao čuvari u područjima oko Booma, gdje su štitili vrijedno platno koje se sušilo na suncu.
Smatra se da je varijanta Tervueren nastala kada je pivovar M. Corbeel uzgojio par dugodlakih žućkastih belgijskih ovčara „Tom“ i „Poes“. Jedno od njihovih štenaca bila je dugodlaka žućkasta kuja „Miss“, koju je kupio M. Deanhieux. Miss je parena s Duc de Groenendaelom, temeljnim mužjakom varijante Groenendael, a njihovi žućkasti potomci postali su varijanta Tervueren, nazvana po regiji Tervuren. Tervueren se smatra posebno snažnom i zdravom varijantom, te ga u Europi mnogi uzgajivači koriste za jačanje krvnih linija drugih varijanti, osobito Groenendaela.
Groenendael ostaje najbrojnija varijanta, slijedi Tervueren. Broj Malinoisa raste, dok Laekenois i dalje ostaje relativno rijedak.
