Kasaty cesarza Franciszka Józefa w 1782 r. objęły także zakon panien benedyktynek w Jarosławiu. W tej sytuacji ich siedziba została zajęta przez stacjonujące w Jarosławiu wojsko austriackie i cały teren zyskał nazwę St. Anna Kaserne, czyli koszar św. Anny.
Rozlokowano tu dwie kompanie piechoty oraz sztab batalionu 90. Pułku Piechoty Austro-Węgier, a od lat 70. XIX w. 10. Dywizjon Artylerii Konnej. Kościół został przeznaczony na magazyn, a w budynkach klasztornych urządzono Wojskową Komisję Mundurową. Powstały nowe budowle, m.in. stajnie dla koni i skład na uprzęże, depozyty wojskowe (wzdłuż murów), magazyn na zboże (na prawo od baszty bramnej), parterowa strażnica dla oficerów, zajezdnie na furgony (na lewo wzdłuż murów). Trzecie, nieistniejące dziś skrzydło klasztoru, przeznaczono prawdopodobnie na jadalnię dla żołnierzy. Od strony wschodniej, przed absydą kościoła powstała ujeżdżalnia i ogród dla oficerów.
W wyniku walk podczas I wojny światowej w maju 1915 r. zniszczeniu uległ budynek klasztoru, wieże i dach kościoła oraz mury obronne. Po zakończeniu wojny teren opactwa przejęło Wojsko Polskie. Kościół miał pełnić rolę kościoła garnizonowego, a w klasztorze miała się znajdować kancelaria probostwa wojskowego oraz mieszkanie dla proboszcza. Podczas II wojny światowej Niemcy urządzili w klasztorze stajnie, magazyny oraz więzienie, a teren opactwa stał się miejscem kaźni Polaków.
W 1991 r. do opactwa powróciły siostry benedyktynki, a trzy lata później został tu powołany Ośrodek Kultury i Formacji Chrześcijańskiej im. Służebnicy Bożej Anny Jenke.