Замок на правому березі р. Золотої за наказом короля Речі Посполитої Сигізмунда ІІІ був побудований брацлавським воєводою Стефаном Потоцьким на початку XVІІ ст.. Під час війни з Османською імперією у 1672 та 1676рр. був зруйнований турками. Потоцьки відновили замок і після першого поділу Речі Посполитої у 1786р. переходить у власність шляхтичеві Гнату Скварчинському. Наступні власники роду Ольшевських перероблюють споруду у палац. Останнім власником був австрійський шамбелян і посол Володимир-Іполіт Гневош, родина якого володіла замком до 1939р.