Hrad je pravděpodobně královského založení, i když počátky jeho dějin nejsou doloženy. První písemná zmínka o Zbořeném Kostelci (původně se jmenoval Kostelec nad Sázavou) pochází až z roku 1341, kdy jej král Jan Lucemburský dává do zástavy Oldřichu z Valdeka, majiteli sousedního Týnce. Později Karel IV. vykupuje samotný hrad Kostelec a opět jej několikrát zastavuje. Roku 1467 byl Kostelec obležen, dobyt, rozbořen a již nikdy nebyl obnoven.