Základinu na výstavbu filiálneho kostola v Brezovici založil Andrej Jendrášek, ktorý 17. mája 1828 zanechal trstenskému pánu farárovi tisíc zlatých a poprosil ho, aby bol nápomocný obyvateľom Brezovice pri výstavbe nového kostola. Stavba kostola sa však začala až v roku 1882 a bol dokončený v roku 1884. Väčšinu prác urobili remeselníci z Trstenej. K plneniu náboženských obradov však bol odovzdaný až v roku 1888, kedy bola dokončená vchodová brána.
V roku 2009 bolo potrebné tento Mariánsky chrám zrekonštruovať a preto za správcu farnosti Brezovica Dr. Jaroslava Rusnáka a veriacich farnosti sa kostol obliekol do novej fasády. Farby pokrývajúce strechu a fasádu kostola navrhol správca farnosti. Finančne si toto dielo podporili miestni farníci, ktorí obetovali zo svojich rezerv.