In het hart van de stad Roeselare, waar de Zuidstraat de Mandel dwarst, stond ooit een Gasthuys of hospitaal, dat openstond voor pelgrims en behoeftige zieken. De stichting ervan wordt toegeschreven aan gravin Margaretha van Constantinopel en dateert van vóór 1268. Deze refuge raakte echter in verval door de godsdienstoorlogen tijdens het laatste kwart van de 16e eeuw.

In het begin van de 17e eeuw, tijdens de contrareformatie of katholieke hervorming, werd ook in Roeselare een kader gezocht voor geloofsvernieuwing en klassiek onderwijs. Wolfgang Wilhelm, hertog van Neuburg en heer van Roeselare, droeg hiertoe de hospitaalgoederen over aan het provinciaal kapittel van de paters eremieten van Sint-Augustinus te Leuven. Zo kwam in 1634-1641 een Latijnse school voor internen en externen, het collegium Augustino-Rollariense tot stand, dat zijn deuren opende in 1641. In de daaropvolgende jaren legden de augustijnen de eerste steen van een klooster dat een pand, een refter en een kapel omvatte. Het eerste schoolgebouw stond vermoedelijk langs de huidige Patersstraat.