Na prawym brzegu Wisły, na skraju osady baranowskiej, w widłach Wisły i Babulówki ( Krzemienicy ) znajdował się już w średniowieczu, na miejscu obecnego zamku, rycerski dwór obronny, o którym wspomina Długosz, iż należał w XV w. do rodziny Baranowskich herbu Grzymała.

     Przejście majętności baranowskich w 1578 r. do możnej rodziny Leszczyńskich herbu Wieniawa stanowi początek dziejów renesansowego zamku w Baranowie, którego architektoniczny kształt dochował się, mimo wielu zniszczeń i pożarów do naszych czasów i stanowi jeden z najcenniejszych pomników świeckiego budownictwa z czasów Odrodzenia w Polsce. Zamek w takiej postaci, w jakiej przetrwał do dziś, stanowi imponujący dowód wytwornego smaku i kultury estetycznej Leszczyńskich, którzy go zbudowali, urządzili wnętrza i przez z górą sto lat, bo od 1569 r. do 1677 r. zamieszkiwali. Należeli oni do najznamienitszych w XVI i XVII w. rodów w Polsce. Rafał (V) Leszczyński był jednym z najgłośniejszych ludzi swego okresu . W Polsce, uchodził, jako świetny mówca, za trybuna szlachty, na sejmie piotrkowskim w 1548r. domagał się rozwodu króla Zygmunta Augusta z Barbarą Radziwiłłówną. Rafał (V) przekazał dobra baranowskie w 1579r. młodszemu synowi Andrzejowi, wojewodzie brzesko –kujawskiemu, który zbudował Zamek i założył w nim słynną bibliotekę. Zamek był główną rezydencją Andrzeja Leszczyńskiego i tym czasie miał go kilkakrotnie odwiedzać król Stefan Batory. Sam Baranów stał się w tym czasie ważnym ośrodkiem reformacji w Polsce. Zamek w Baranowie z uwagi na wysoką wartość artystyczną oraz formę szczegółów architektoniczno – rzeźbiarskich wskazuje na Santi - Gucciego jako twórcę budowli, która kończona była przez warsztaty pozostające pod wpływem Santi Gucciego, już po jego smierci. Z okresu rządów Rafała (VII) Leszczyńskiego pochodzą zapewne bogate sztukaterie, przypisywane Janowi Baptyście Falconiemu, zachowane w sklepieniu baszty północno – wshodniej. W czasie najazdu szwedzkiego wiosną 1656 r. król szwedzki Karol Gustaw spotkał się pod Baranowem z dowodzonymi przez Pawła Sapiehę wojskiem litewskim. Baranów jednak zostawił nietknięty, gdyż nękani przez podjazdy Czarneckiego Szwedzi cofnęli się w kierunku Zawichostu. Ostatnim właścicielem zamku ze znamienitego rodu Leszczyńskich był Rafał (X) ,którego jedynym synem był Stanisław przyszły król Polski. W latach 1677 – 1682 dziedzicem zamku był Dymitr Wiśniowiecki, który krótko władając zamkiem nie wprowadził żadnych znaczących zmian. Kolejnym właścicielem zamku został książe Józef Karol Lubomirski herbu Śreniawa. Podjął on częściową przebudowę zamku i odnowienie wnętrz, powierzając te prace w 1695 r. jednemu z najwybitniejszych architektów, którzy działali wówczas w Polsce Tylmanowi z Gameren. On to dobudował miedzy dwoma basztami przy skrzydle zachodnim galerię obrazów, wspartą na otwartych arkadach parteru. Zmodernizował też elewacje zamkowe. Do wnętrz piętra zaprojektował bogate dekoracje stiukowe, zachowane do dziś w tzw. Galerii Tylmanowskiej oraz w przyległych pomieszczeniach. W rękach Lubomirskich zamek baranowski pozostawał od 1683 do 1720 r. Kolejnymi właścicielami byli: książe Paweł Sanguszko, Jacek Małachowski, Józef Potocki, Jan Krasicki. Częste zmiany właścicieli uchroniły zamek baranowski od większych przeobrażeń w XVIII w. Zachował on swój renesansowo- barokowy charakter, jaki nadali mu Leszczyńscy i Lubomirscy. Krasiccy odnowili zamek, chociaż trudno dziś ustalić na czym to odnowienie polegało, gdyż oba pożary w XIX w. zniszczyły prawie wszystkie wnętrza. Pod koniec XVIII w. w zamku miał przebywać często wedle tradycji biskup Ignacy Krasicki. W dniu 24 września 1849 r. wybuchł w zamku pożar, który zniszczył wnętrza. Wypalone zostały stropy drewniane, dachy, wszystkie mobilia wraz z biblioteką umieszczoną w jednej z baszt zamkowych. Nie stać było Krasickich na przywrócenie rezydencji dawnej świetności, a ostatni jej właściciele nie wykazywali szacunku dla zabytków pozostałych w zamku. Dokonano w tym czasie niepowetowanych dewastacji, a gdy dobra baranowskie całkowicie podupadły i zostały wystawione na licytacje, kupił je w 1867r. Feliks Dolański z Grębowa. W rękach rodziny Dolańskich zamek pozostawał aż do II wojny światowej. W tym czasie w narożnej komnacie parteru obok baszty południowo – zachodniej, urządzono kaplicę ozdobioną witrażami Józefa Mehoffera i obrazem Jacka Malczewskiego Matka Boska Niepokalana, umieszczonym w ołtarzu. Wystrój architektoniczny kaplicy nosił znamiona ,panującego na początku XX w. stylu secesji. Ostatnim właścicielem zamku był Roman Dolański. Na wskutek reformy rolnej z 1945 r. majątek ziemski wraz z zamkiem przeszedł na własność Skarbu Państwa. W dniach 4 i 5 stycznia 1968 r. nastąpiło formalne przekazanie zamku w Baranowie Sandomierskim Kopalniom i Zakładom Przetwórczym Siarki "Siarkopol" w Tarnobrzegu. W lipcu 1997r.nowym właścicielem została Agencja Rozwoju Przemysłu S.A. w Warszawie która zarządza obiektem do dnia dzisiejszego.