De burcht was rond 1300 gebouwd, in een gesloten dal op een klip boven de samenloop van de Tisemský en de Janovický-beek. Als eerste eigenaar wordt in 1318 Ctibor van Kožlí genoemd. Sinds 1362 was het Kunrát van Kožlí die hier met zijn broers Mareš en Heřman van Chvojno zetelde.
Het renaissancistische boerenerf, waarvan een deel nog steeds een uniek gewelf heeft, stond ten oosten van de vesting en was ten tijde van zijn grootste bloei het centrale erf voor het uitgestrekte landgoed van Konopiště tot Komorní Hrádek. Aan het begin van de 18e eeuw werd begonnen met de bouw van een barok kasteel in de noordwestelijke hoek van de binnenplaats.
Volgens de kronieken van de zgn. Beneš Minorita was het minorietenconvent van Benešov in 1247 gesticht, namelijk door de proost van het kapittel van Stará Boleslav, Tobiáš van Benešov.