První připomínka je z konce 14.století,kdy zde stála tvrz a to v roce 1412 při převodu majetku Alši Lysickému z Kunštátu. Za husitských válek byla dobitá a v roce 1446 se mluví o zbořené tvrzi.V druhé polovině 15.století byla obnovena v pozdně gotickém slohu. V druhé polovině 16.století vlastnil Rájec Bernard Drnovský z Drnovic , který v roce 1570 přebudoval tvrz v renesanční zámek. V 17. a 18.století vlastnili zámek Rogendorfové, kteří jej získali po třicetileté válce provdáním Johanky z Drnovic za Jiřího z Rogendorfu. V polovině 18.století zámek vyhořel a nebyl obnoven.

V roce 1763 získali rájecké panství Salmové z Reifferscheidtu, z nichž Antonín Salm začal budovat dnešní rájecký zámek. Ke stavbě se použil materiál z vyhořelého zámku a započalo se v roce 1763. Stavba rychle pokračovala, takže do zimy byla postavena a zastřešena jižní část zámecké budovy. Celý objekt byl dokončen již v roce 1764, kdy se současně přikročilo k úpravám interiéru a průčelí. V roce 1765 stály oba jižní pavilóny, v roce 1766 severní kuchyňský pavilón. V roce 1767 byla zámecká budova doplněna průčelím podjezdem. malířská výzdoba zámku je dílem Františka Antonína Sebestiniho z Prostějova a autorem fresky ve velkém sále je kajetán Schemberger. vybavení zámeckého interiéru se postaral Hugo Salm /1776-1836/, za něhož se těšil rozkvětu jak zámek, tak i panství.

Hugo Salm se zabýval chemií a fyzikou a byl autorem řady vynálezů.Na zámku dokončil výzdobu interiéru, především vybavením zámecké knihovny s empírovými regály Karel Josef I. ze salmu. Díky tomu je rájecká zámecká knihovna dodnes ucelenou pokladnicí staré odborné literatury. od svého otce získala lásku k umění i Augusta salmová prvdaná Clam-martinicová, která spolupracovala s Amalií Mánesovou, proslulou malířkou své doby. další držitelé rájeckého zámku už nedosahovali úrovně Huga ze Salmu, zámek upadal vzhledově i v interiéru až do roku 1945. Zámek byl na základě Benešových dekretů zabaven a patřil Krajskému středisku státní památkové péče v Brně jako objekt první kategorie. dnes je Státní zámek Rájec nad Svitavou Národní kulturní památkou.