Renesanční hospodářský dvůr, jehož jedna část má dodnes zachovalou unikátní klenbu, stával východně od tvrze a v době svého největšího rozmachu byl ústředním dvorem pro rozlehlé panství od Konopiště až ke Komornímu Hrádku. Počátkem 18. století byla v severozápadním rohu dvora zahájena stavba barokního zámečku.
Toto rytířské sídlo postavené pro Jana Františka z Vrbna a z Bruntálu mělo původně sloužit jako náhrada za málo pohodlný hrad, ale kolem roku 1727 bylo opuštěno, vyhořelo a zpustlo. Některé prameny mylně uvádí, že zámeček nebyl dostavěn, ale i přesto, že jeho existence neměla dlouhého trvání, v roce 1720 měl tři křídla s tehdy moderním "čestným dvorem" a měl rozměry 40 x 20 m. Dle popisu urbáře z téhož roku je tento panský správcovský dům uváděn jako zděná budova, která měla v patře tři pokoje pro panstvo, jídelnu a kapli. V přízemí se nacházela úřední místnost, pokoj hejtmana, příbytek obilního písaře, dvě kuchyně a dvě komory. U severovýchodního křídla byl vybudován malý rybníček a zahrada. Dnešní návštěvníci z něj mohou obdivovat zříceniny obvodového zdiva s okenními klenbami.