Zbudowane w latach 1687-1720, służyło jezuitom do czasu zniesienia zakonu bullą papieską, tj. do grudnia 1773 r. Rząd austriacki likwidując kolegium, skonfiskował jezuitom mieszczące się w budynku: bibliotekę, drukarnię i aptekę. Zaborca zamienił gmach na niemieckie gimnazjum. Przez pewien czas mieściła się w nim szkoła wojskowa, a następnie filozoficzno-teologiczna. W okresie Wiosny Ludów mieściły się w budynku koszary przemyskiej gwardii narodowej. W 1903 r. przeznaczono go na mieszkanie dla duchowieństwa.

Obecnie w gmachu znajduje się Muzeum Archidiecezjalne im. Św. Józefa Sebastiana Pelczara.