Původní dřevěná tvrz Koštofrank byla přestavěna na kamennou tvrz. Později nechal Vilém z Valdštejna celou tvrz od základu přestavět v barokní zámek. Přestavbu provedl známý italský stavitel Giovanni Santini.
Je nejcennější historickou stavbou ve městě z přelomu 17. a 18. století s kaplí zasvěcenou Janu Evangelistovi. Zámek je v současné době využit pro školství a veřejnosti není přístupný. Za zámkem se rozkládá Zámecký park s bývalou empírovou zimní oranžerií, která byla v roce 1959 přebudována na Památník K.V.Raise. V jednom z křídel památníku je umístěna expozice připomínající bělohradského spisovatele K.V.Raise, druhé slouží jako galerie, v níž od jara do podzimu probíhají výstavy. Nedaleko od památníku je umístěna sbírka vrchnostenských hraničních mezníků z 18. století a skulptura vzpřímeného lva, symbolu z městského znaku.