Probabilmente il pittore cremasco Aurelio Busso (prima metà del secolo XVI) compì la decorazione esterna dei prospetti nord e sud tra il 1541 e il 1545. La decorazione del prospetto sud è stata stravolta quando, alla fine del Settecento, Giacomo Brusco, dopo lo sbancamento del giardino, ristrutturò la facciata e per regolarizzare la distribuzione delle finestre ne furono aggiunte due.
La facciata nord, nella parte alta, è decorata da riquadri monocromi, e negli spazi tra le finestre, con scene mitologiche raffiguranti “Le Fatiche di Ercole”.
Il prospetto su Salita San Francesco ha riquadrature con erme femminili con bifide code di sirena, forse contributi decorativi attribuiti a Gio Battista Castello il Bergamasco databili tra il 1556-1566. Infatti è certa la presenza del Bergamasco nel cantiere negli anni 1565-1566 con il ruolo di direttore artistico, e per programmare gli interventi decorativi come architetto preposto alle decorazioni, interventi decorativi che si prolungano forse fino al 1573.