Ook tijdens de Tweede Wereldoorlog werden de Duitsers de ongenode gasten van het Klein Seminarie. Op 10 mei 1940 overschreden de Duitse soldaten de Belgische grens. Alle leerlingen werden naar huis gestuurd. De Belgische overheid beval alle jongens van 16 tot 35 jaar naar Frankrijk te vertrekken. De collegeleerlingen beslisten dit in groep te doen, onder begeleiding van 7 leraren.
Het Belgische leger had intussen een deel van de landbouwschool als hospitaal ingericht, maar al na enkele dagen werd het weer ontruimd. Duitse luchtaanvallen brachten heel wat materiële schade toe aan de collegegebouwen. Op de dag van de capitulatie, 28 mei 1940, kwamen Duitse soldaten het Klein Seminarie bezetten. Het voorgebouw werd opgeëist en ingericht als Kommandantur van de Wehrmacht. Begin juni kwamen de leerlingen uit Frankrijk terug en superior Vandenbussche besloot de lessen te hervatten. 
Het samengaan van lessen en bezetting verliep niet zonder moeilijkheden. Er lagen loopgraven bij de dreef, de lokalen en gangen waren verduisterd. Legerauto’s en -vrachtwagens waren alomtegenwoordig. De organisatie van de voedselbevoorrading vergde van de collegeoverheid heel wat creativiteit. Maar vooral kleine verzetsdaden van leerlingen brachten superior Vervenne vaak in een lastig parket. Op 19 maart 1941 waren op ramen en deuren van de Kommandantur “V”-tekens geschreven… Enige tijd later liepen leerlingen met kleine Engelse vlaggetjes opgespeld…