Pierwszy murowany zamek wzniósł w tym miejscu Kazimierz Wielki po najeździe litewskim z roku 1349. Z budynku tego zachowały się jedynie fundamenty ośmiobocznej wieży i część jej przyziemia. Zamek wielokrotnie przebudowywano i rozbudowywano aż w 2. poł. XVII w. powstała duża trójskrzydłowa budowla (skrzydła wschodnie, południowe i zachodnie) będąca siedzibą królewskiego starosty, sądu ziemskiego i grodzkiego ziemi sandomierskiej oraz sądu wyższego prawa magdeburskiego dla miasta. Dalszą rozbudowę przeprowadzona w latach 1586-1602 i 1612-36. W roku 1656 wycofujące się wojska szwedzkie wysadziły zamek w powietrze. Wybuch przetrwało skrzydło zachodnie, które jest jedyną pozostałością dawnej warowni. Pozostałości zamku odnowiono w latach 1680–1688 za czasów Jana III Sobieskiego z przeznaczeniem na rezydencję. Po III rozbiorze Polski austriacy urządzili w dawnej fortecy więzienie i siedzibę sądu kryminalnego. Budynek jeszcze wielokrotnie przebudowywano, lecz więzienie istniało w nim aż do roku 1956. Po likwidacji więzienia i odrestaurowaniu zamku utworzono w zamku (w roku 1986) muzeum okręgowe. Prace remontowe trwały jeszcze po otwarciu muzem aż do roku 2005.