Na místě, kde dnes stojí zámek stál v od roku 1694 klášter i kostel, který však v roce 1784 Josef II. zrušil. Majetek kláštera byl převeden do náboženského fondu, ale František z Ditrichštejna celý tento objekt koupil a používal jej jako továrnu. Počátkem 19.století byl kostel zbořen a klášterní budova byla v letech 1819-1826 za Františka Xavera z Ditrichštejna přestavěna na zámek. Zámek dnes patří k nejkrásnějším empírovým stavbám na Moravě. Jako projektant je uváděn Petr Nobile, ale asi neprávem. Pravděpodobně to byl architekt Josef Esch činný v letech 1835-1854 v Brně.

 Při stavbě bylo zčásti využito budov kláštera dominikánek, jak to prozrazuje zámecká kaple. Přestavbou vznikla čtyřkřídlá dvoupatrová budova s výrazným průčelím, členěným třemi rizality.Ve vnitř je průjezdová sloupová síň z niž je trojramenným schodištěm přístup do prvního patra, kde byly reprezentační místnosti. Zámecká instalace v těchto prostorách ukazuje kulturní svět šlechtického sídla v letech 1820-1830. Významnou částí zámeckého fondu je knihovna, čítající přes 10 000 svazků a tvořící vědecky i sběratelsky cenný soubor. Rodina Ditrichchštejnů zde sídlila až do roku 1950. V roce 1950 boskovická větev Ditrichštejnů vymřela po meči a majetek zdědila dcera posledního Ditrichštejna, Terezie. Provdala se za hraběte Alfonse Mensdorfa-Pouillyho, který pocházel z francouzské šlechtické rodiny.Po roce 1950 je na zámku městské muzeum a žákovský internát, což hodně ublížilo zámku. V rámci restitucí byl zámek vrácen posledním majitelům tedy rodu Mansdorff-Pouilly a zůstal přístupný veřejnosti..