Autorem projektu raně barokní budovy Jezuitské koleje, která se nachází na impozantním místě těsně v sousedství chrámu sv. Barbory, byl významný stavitel jezuitských budov, italský architekt narozený ve Vídni Giovanni Domenico Orsi. Jeho zkušenosti se stavbami pevností se projevily i na velmi důkladné stavbě koleje, včetně důmyslného odvádění spodní a splaškové vody. Z částečně dochovaných plánů je patrné, že zvolil půdorys písmene E a současný půdorys ve tvaru písmene F je důsledkem toho, že projekt nebyl nikdy naplněn. Po Orsiho smrti v dostavbě pokračoval Carlo Lurago a kolej byla kompletně dokončena až v roce 1750. Architektura koleje je poměrně strohá, jak velela jezuitská řehole, jen průčelí připomíná raně barokní italské paláce. Stavba probíhala pomalu, teprve roku 1678 se do ještě značně rozestavěné koleje přestěhovali jezuité, kteří sídlili skoro padesát let v provizoriu. Zajímavostí je stavba kryté visuté chodby vedoucí z koleje do chrámu sv. Barbory, provedená ve 30. letech 18. století, která byla však na konci 19. století zrušena.
Podle archivních zpráv a rozboru stavby můžeme určit umístění některých funkcí a místností. Ve středním křídle byly nad sklepem kuchyně, refektář a kredenciárium (sklad nádobí), v přízemí severního křídla se nacházela lékárna s bohatou výzdobou klenby. Dále bylo v prvním patře koleje umístěno divadlo, jdoucí přes dvě podlaží, jehož přesná lokalizace je dnes velmi obtížná. Ve vnitřním nádvoří byla ozdobná zahrada s terasami, štěpnicí a užitkovou částí. Terasa před jezuitskou kolejí byla v letech 1703 - 1716 vyzdobena barokními plastikami z dílny sochaře Františka Bauguta, příslušníka jezuitského řádu, který je též autorem morového sloupu. Vložil do kamene svou představu dvanácti jezuitských světců, mezi nimi Ignáce z Loyoly, Františka Xaverského a českého patrona sv. Václava. Byl tak zrealizován záměr jezuitských stavitelů naznačit v Kutné Hoře „královskou cestu“ od chrámu sv. Barbory k Vlašskému dvoru podobnou té, která v Praze spojuje Klementinum s Pražským hradem.
Roku 1773 byl jezuitský řád zrušen (tehdy stavba ještě neměla definitivní podobu a rozsah) a v celé koleji byla zřízena vojenská kasárna a roku 1778 v severním křídle špitál. Ve stavbě pokračoval vojenský erár až v letech 1843 až 1844. Budova tak byla přizpůsobena potřebám vojenského výchovného ústavu. Změna využívání stavby sebou nesla rozsáhlé stavební úpravy v interiérech. Nejzávažnější změnou bylo snesení neudržované střední věže ze statických důvodů v roce 1842 a přístavba tří záchodových věží před dvorní průčelí.
Vojákům sloužila kolej až do roku 1998, kdy byla předána do užívání galerie a byl připraven projekt rekonstrukce a přeměny koleje v moderní instituci prezentující výtvarné umění.
Dějiny Jezuitské koleje
1626 - uvedení jezuitských duchovních do Kutné Hory.
1661 – jezuité zřizují v chrámu sv. Barbory svoji hrobku.
1633 - císař Ferdinand II. vydává zakládací listinu jezuitské koleje.
1666 - demolice domů a srovnávání terénu pro stavbu koleje.
1667 – položen základní kámen koleje a uzavřena smlouva se stavitelem Giovannim Domenicem Orsim de Orsinim.
1671 - stavba koleje dostavěna do druhého patra.
1675 – 1677 – vznikla štuková a malířská výzdoba lékárny v severním křídle.
1678 - se do koleje nastěhovali první členové řádu.
1679 – stavbu převzal Carlo Lurago (po smrti G. D. Orsiho)
1685-88 - byly prováděny klenby v interiérech.
1689 - dokončena klenba refektáře, jehož klenba bohatě zdobená štukem a malbami.
1709 – 1718 – vznikla ucelená řada 12 pískovcových statuí před kolejí. Jejich autorem je jezuitský koadjutor František Baugut.
1710 - vnitřek koleje upraven tak, že se mohl kazatel a profesoři nastěhovat do 6 nových ložnic.
1716 - dokončena věž na jihozápadním nároží naproti kostelu sv. Barbory.
1721 - 1724 na raně barokních základech středního křídla, postavena čtvrtá věž s hodinami.
1750 - stavba celé koleje byla víceméně dokončena.
1773 – zrušení jezuitského řádu. V celé koleji zřízena vojenská kasárna.
1778 - v severním a v části východního křídla zřízen vojenský špitál, který zde zůstal až do poloviny 19. stol.
1843 - snesení neudržované střední věže.
1853–1868 - v jezuitské koleji působil vyšší vojenský vychovatelský ústav.
1924 - kasárna pojmenována po Janovi Roháči z Dubé.
1935 - došlo k výstavbě nových stájí pro celkem 64 koní (budova byla později přestavěna na garáže a zachovala se dodnes)
1939-1945
1953 - v areálu koleje zřízen 1. okruhový automobilní a traktorový sklad
1998 - kdy byla předána Českému muzeu výtvarných umění
2010 – otevření GASK