Kamenné opevnění města plynule navazuje na opevnění hradu. Budování hradeb začalo v první polovině 14. století a bylo zdokonalováno až do počátku 16.století. Mohutnou hradbu zpevňovaly hranolové věže a okrouhlé bašty. Ze tří původních městských bran se dodnes dochovala pouze jedna. Nachází se u muzea, je nazývána Nežárecká a jedná se o původně gotickou bránu ze 14. století. Zbytky původních hradeb reprezentuje i okrouhlá bašta v Husových sadech u Masarykova náměstí, která byla později upravena do klasicistní podoby.