Již ve 13. století v údolí řeky Bělé stála v močálu na dřevěných pilotech vodní tvrz. V roce 1495 získali Častolovice páni z Pernštejna, během 15. a 16. století změnilo častolovické panství několikrát své majitele, jedním z nich byl Jiří z Poděbrad, v roce 1575 se Častolovice opět staly majetkem Koruny. Mezi léty 1588 a 1615 byly zbytky pevnosti přestavěny na renesanční zámek. V roce 1696 jej odkoupil nejvyšší pražský purkrabí Adolf Vratislav ze Šternberka a zámek se stal sídlem hlavy rodu. V roce 1948 byl zámek zabrán komunisty a původním majitelům navrácen po revoluci v roce 1992. Dnešní expozice představuje zdařilou ukázku způsobu života v minulých stoletích od renesance po biedemeiera.