Na  místě cisterciáckého kláštera začal v roce 1570 stavět renesanční zámek Zdeněk Kavka z Říčan, zámku se tehdy říkalo Nový Smilheim. To jistě přispělo k tornu, že Zdeněk Říčanský prodal v r. 1578 vizovické zboží Anně Kropáčce z Nevědomí a koupil panství brumovské. V r. 1593 získal zámek s panstvím Václav Tetour z Tetova; byl však v r. 1594 nucen pro zadlužení prodat Vizovice Emerichu Doczymu z Nátluče.

V polovině 18. století došlo k velké přestavbě zámku pro brněnského probošta Heřmana Hanibala z Blümegen. Starý zámek byl stržen a na jeho místě vyrostl moderní zámek ve francouzském stylu Ludvíka XVI. Velkolepou stavbu vedl brněnský architekt František Antonín Grimm. Vizovický zámek je dvoupatrová budova se třemi křídly ve tvaru písmene U, které tvoří pravoúhlý dvůr. Zámek kryje mansardová střecha s vikýři. Hlavní sál zámku je umístěn nad vstupním průjezdem a prostupuje dvě patra. Stěny a kopule sálu jsou vyzdobeny iluzivní malbou z roku 1757 napodobující rokokovou štukaturu. Interiéry zámku jsou bohatě vybaveny pozdně barokním, rokokovým, klasicistním  nábytkem, benátskými zrcadly, kachlovými kamny a čínským, japonským, vídeňským a míšenským porcelánem.12. května 1660 zemřel poslední mužský člen rodu — Ladislav Doczy a vizovické panství zdědila stařičká Zuzana Doczyová, provdaná Maythényiová z Ostrého Kamene, ale tehdy již ovdovělá.

V roce 1746 koupil zadlužené panství olomoucký kanovník Heřman Hanibal z Blümegenu, který se stal královéhradeckým biskupem. Od roku 1749 byla stará budova zámku bořena a podle plánů Františka Antonína Grimma stavěna na témž místě nová.Tak vznikla trojkřídlá dvoupatrová stavba s pravoúhlým čestným dvorem sevřeným třemi trakty. Dokončením nové zámecké kaple po roku 1766 se dílo uzavřelo./čeká ji oprava/

 K největším chloubám zámku patří velká obrazová sbírka holandských mistrů, kterou zakládal již Heřman Hanibal z Blümegen a i další majitelé ve sbírání pokračovali. V levém křídle zámku se nachází kaple se sochařskou výzdobou od Ondřeje Schweigela. Sochy tohoto autora nalezneme i v zámecké zahradě, která plynule navazuje na zahradní průčelí zámku .Heřman Hanibal B zemřel 17. října 1774 a odkázal panství svému synovci Petru Akantarovi z Blümegenu. Na kauci v 18. století však bylo mnoho pozemků prodáno nebo pronajato. Neutěšené poměry napravila až Františka se Stillfriedu, která zdědila panství v roce 1813. Stillfriedové vlastnili zámek až do r. 1945.Poslední Stillfried pomáhal při rekonstrukci zámku,kde byl nábytek a jak to vypadalo.Chtěl se i přijet podívat,ale bohužel zemřel v roce 2005.