Берёза известна по письменным источникам с 1477 года как деревня Слонимского, с 1521 Кобринского повета Великого княжества Литовского.
С разрешения в 1648 году католического епископа Андрея Гембицкого по приглашению канцлера ВКЛ Льва Сапеги из резиденции ордена в Парадижа под Гданьском в Брестское воеводство приехали монахи-картезианцы с приором Филиппом Кульманом. Местом для монастыря они выбрали Берёзу. Лев Сапега подарил новоявленному монастырю большой надел земли и 800 дворов крестьян. Монастырские крестьяне должны были с 12 лет отдавать мальчиков в монастырские работы до совершеннолетия.
Строительством монастыря руководил итальянский архитектор Джованни Баттиста Джизлени. Построен он в стиле барокко как монастырь-крепость ― с элементами оборонительного зодчества: каменные стены с башнями, ров вокруг монастыря. Строительство начато в 1648 году, закончено в 1689.
Устав ордена не разрешал иметь собственных вещей, у монахов не было ни постелей, ни подушек, спали они на кирпичах. Питались по отдельности, общая трапеза была лишь раз в году.
Храмовыми праздниками монастыря был день Воздвижения Честного Животворящего Креста Господня и день Второго обретения Креста, совершавшиеся соответственно 14 сентября и 3 мая.
В апреле 1706 года в монастыре провёл день Карл XII.
В Северную войну 1700—1721 монастырь разорён.
После польского восстания 1830—1831, в котором участвовали и монахи-картезианцы, монастырь был упразднён. Помещения бывшего монастыря стали использоваться русскими в качестве казарм. Монастырский сад и пруд пришли в упадок. В 1832 году костёл стал приходским. В 1866 году значительная часть построек разобрана, разрушающийся костёл закрыт. В 1871 году гродненский архитектор Яков Фардон выполнил обмерный чертежи монастырской ворот.
В 1915 году здания монастыря горели.
В 1930-х годах бывшие русские казармы были превращен польскими властями в концентрационный лагерь для коммунистов, украинских националистов и военнопленных. После воссоединения Западной Беларуси с БССР в стенах монастыря была размещена воинская часть.
В начале 1990-х годов монастырь был внесен в список историко-архитектурных ценностей Беларуси. Существовал проект восстановления монастыря, однако он был приостановлен.
Ведутся работы по реставрации монастыря, в сентябре 2014 года были полностью восстановлены ворота.