V blízkosti dnešního zámku stával dvůr Leptač s oborou, od roku 1569 byl v majetku Jakuba Krčína z Jelčan. Za panství Viléma z Rožmberka postavil v letech 1583 - 1589 stavitel Baltazar Maggi z Arogna dnešní objekt, obklopený ohradní zdí. V roce 1601 se Kratochvíle stala majetkem Rudolfa II., po bitvě na Bílé hoře ji daroval Ferdinand II. Oldřichu Eggenberkovi, od roku 1719 schwarzenberským majetkem. V průběhu doby jen malé stavební úpravy, v letech 1683 a 1696 postaveny 2 nové bašty, roku 1684 snížena vstupní brána a v roce 1696 zbořen dvůr Leptač. Barokní střecha je z roku 1762. Začátkem 19. století zámek adaptován na byty, od poloviny 19. století využíván jako muzeum.