Rococo
Het huidige gebouw werd in 1746-1748 ontworpen en gebouwd door architect en projectontwikkelaar David 't Kindt, die de hele Gentse rococo-architectuur domineerde. Hij maakte ten volle gebruik van de ligging van het perceel en bouwde een monumentale gevel die schitterend is ingeplant in het perspectief van de Kammerstraat, gezien vanaf de Vrijdagmarkt.
Classicisme
't Kindt verkocht de luxueuze woning in 1748 aan ridder Jean Baptiste de Ghellinck. De interieurs werden geleidelijk afgewerkt en aangepast aan de gewijzigde smaak en de noden van de opeenvolgende eigenaars. Zo kwamen er naast ruimtes in rococostijl ook classicistisch aangeklede ruimtes.
Grondige verbouwingen
Kort na 1860 liet weer een nieuwe eigenaar, Camille van Pottelsberghe de la Potterie, grondige wijzigingen aanbrengen. De oorspronkelijke dienstvleugel, richting Vlasmarkt, werd afgesplitst en omgevormd tot een opbrengsteigendom, dat later door een nieuwbouw in eclectische stijl vervangen werd. Aan het einde van de binnentuin kwam een nieuw dienstgebouw met koetshuis en stallingen. Het interieur kreeg een Second Empire-aankleding en in de salons kwamen neorococomeubelen en -wandtapijten.
Vestiging Academie
In 1892 kocht de Belgische Staat het Huis van Oombergen aan als vestiging van de in 1886 opgerichte Koninklijke Vlaamsche Academie. Omstreeks de eeuwwisseling liet de overheid een hele reeks restauraties en uitbreidingswerken uitvoeren. Zo werd de oorspronkelijke beschildering van de natuurstenen gevel verwijderd, en werd het o.m. door de inwerking van de zuren zwaar beschadigde beeldhouwwerk opnieuw gekapt. Het 19de-eeuwse buitenschrijnwerk werd eveneens vervangen. Er kwam een fantaisistische neorococopoort. De vroegere stallingen werden omgebouwd tot een vergaderzaal die door een tweelagige galerij verbonden werd met het hoofdgebouw. Het geheel kreeg een rijkelijke neorococo-aankleding en een aangepast meubilair.
Recente aanpassingen
Na de Tweede Wereldoorlog onderging het gebouw nog enkele aanpassingen: in de jaren '60 en '70 werden moderniseringswerken uitgevoerd, waarbij o.m. vroegere privévertrekken op de verdieping werden omgevormd tot sobere kantoorruimten. De laatste omvangrijke werken werden uitgevoerd naar aanleiding van het 100-jarige bestaan van de Academie in 1986. Een aantal interieurs werd gerestaureerd en er werd opnieuw ander buitenschrijnwerk geplaatst. Het huidige Academiegebouw is het resultaat van al die bouwcampagnes.
Het totale concept werd grondig gewijzigd door de afsplitsing van de oorspronkelijke dienstvleugel en de bouw van de stallingen achteraan. De originele structuur van het herenhuis bleef grotendeels behouden. Het uitzicht van de voorgevel en de aankleding van het interieur worden vooral bepaald door de herinrichting in opdracht van Camille van Pottelsberghe en de opeenvolgende restauraties en aanpassingswerken door de overheid.