Nejstarším objektem na tomto místě byl vodní hrad,chráněný ze dvou stran,dvě řeky ze kterých se naplňovali příkopy vodou a tak byl jeho nejspolehlivější ochranou.Základem tohoto vodního hradu byla obytná věž pocházející z 13.století.První zmínka o hradě se datuje z roku 1323.Největší přestavba v letech 1487-1798 ,kdy byl majetkem rodu Suňogovců.V 15.století byl často obléhaný a středem bojů.

V roce 1551 přestavěný v renesančním stylu,tento rok je zaznamenaný na krbu pravého poschodí věže.V 17.století hrad přestavěli a doplnili o renesanční části a v 18.století byl na opevnění vybudovaný kostel.V letech 1848-1849 vyhořel,ale v druhé polovině 19. století ho znovu opravili  do dnešní podoby.Jistý čas se ze zámku stali kasárna.Celková obnova byla v letech 1920-1922 bylo dostavěné jihozápadní křídlo v historickém slohu.Dnes je v zámku  vlastivědné Povážské muzeum a galerie.

Zvláštností  muzejních sbírek jsou drátové výrobky,které pochází z blízkých drátových obcí v okolí Žiliny