Das Dorf Mrač wird erstmals im Jahre 1318 erwähnt, in dem der hiesige Wladyka Zdislav von Mrač belegt ist. Dessen Sitz war wohl eine ältere Feste, von der nur die Burgstätte übrig geblieben ist und die sich etwa 100 m östlich von der jüngeren, erhalten gebliebenen Feste befindet. Die Burgstätte ist ein nicht hoher Hügel mit schroffen Hängen. Vor der Burgstätte befindet sich ein zuckerhutähnlicher Hügel, auf dem wohl einst eine Blockhütte stand. 1356 machen zwei weitere Wladyka von Mrač auf sich aufmerksam, die Gebrüder Oldřich, Vilém und Ješata.
Da keine schriftlichen Vermerke über die Feste erhalten geblieben sind, sind die Gründe für deren Verfall unbekannt.
Gegen Ende des 14. Jh. gingen die Güter Mračin in den Besitz der von Benešovice über. Diese Besitzer siedelten schon auf der neuen Feste, die sie weiter weg vom einstigen Sitz von Zdislav von Mrač, am untersten Ende der Höhe über dem Bach Benešovským potok erbauten. Diese Feste ist bis zum heutigen Tag erhalten geblieben. Als erste neue Besitzer gegen Ende des 14. Jahrhunderts werden Beneš von Lopřetice auf Mrač, im Jahre 1410 Oldřich von Mrač, 1438 Beneš von Dubé und Mrač, ein Vorfahre des Geschlechts der Mrač von Dubé erwähnt. Dessen Nachfahren blieben auf der hiesigen Feste bis zur 1. Hälfte des 16. Jh. wohnen. Im Jahre 1540 erwarb die Feste Jaroslav der Ältere von Šelmberk und Kost, der Besitzer des nahen Hrádek nad Sázavou (heute Komorní Hrádek), der zu einem späteren Zeitpunkt die ausgedehnten Güter von Mrač seiner Ehefrau Anna, geborene Krajířová von Krajku vermachte. Sie vererbte es an ihren Sohn Jan (+1597), in dessen Hinterlassenschaft das Gut jedoch wieder dem Komorní Hrádek zufiel und in den Besitz von Adam des Jüngeren von Valdštejn kam. Dessen Sohn Jan Viktorin von Valdštejn musste Mrač 1648 an seinen Gläubiger Václav von Vrbno und Bruntál verpfänden. Die Feste wird zu jener Zeit, nach dem Dreißigjährigen Krieg, als verödet bezeichnet. Im Jahre 1663 erwarb Bernard Ignác von Martinice (+1685) das Gut Mrač, dessen Tochter dieses Erbe im Jahre 1690 auf ihren Ehegatten Jan František von Vrbno und Bruntál überträgt, den Sohn des vorherigen Waldsteiner Gläubigers. Die Steine von der Festungsruine wurden zum Bau des als Herrschaftssitz der von Vrbno dienenden Schlosses in Mrač benutzt. Letztendlich wurde die Feste Ende des 17. Jahrhunderts in einen Speicher umgebaut. In dieser Form blieb sie bis in die 2. Hälfte des 19. Jh. hinein erhalten, als hier Wohnungen für im nahen Granitsteinbruch von Mrač beschäftigte Arbeiter eingerichtet wurden. Wohnzwecken dient sie bis heute. Es ist ein eingeschossiges, aus Bruchstein errichtetes Haus mit rechteckigem Grundriss, ohne Mauerputz und mit einem Walmdach. An seiner östlichen Seite schließt ein viereckiger,von einer Steinmauer umgebener Hof an.
Das Schloss, das sich die Herren von Vrbno nach dem Erwerb des Gutes Mrač über der verfallenen Feste errichteten, erfüllte die Funktion eines Rittersitzes. Laut einer Beschreibung aus dem Jahre 1720 war der "bewohnte Rittersitz" ganz gemauert, im Erdgeschoss befanden sich eine herrschaftliche Kanzlei, ein Zimmer für den Hauptmann, die Behausung des Kornschreibers, zwei Küchen und zwei Kammern. Im ersten Stock befanden sich die herrschaftlichen Gelasse: drei Gemächer, Speisezimmer und Kapelle. Das nicht große Objekt sollte durch ein größeres Schloss ersetzt werden, es kam jedoch nicht mehr zum Bau. 1725 erwarb Mrač Jan Josef von Vrtba und verband es mit Konopiště. Der neue Sitz verfiel und so blieben bald nur noch die große Ruine der Außenmauer mit ihren Fensteröffnungen übrig; ein bild dass sich dem Besucher von heute bietet.