W XVII wieku właścicielem miasta został Jan Bernard Prażma. Około roku 1650 rozpoczął on wyburzanie starego zamczyska i w to miejsce zaczął wznosić rezydencję pałacową. W roku 1652 ukończona została nowa kaplica zamkowa o czym wspomina opis wizytacji przeprowadzonej przez biskupów wrocławskich. Po śmierci Prażmy kolejni właściciele Oppersdorffowie kontynuowali rozpoczęte prace. Wystawiony przez nich nowy zamek był to dwupiętrowy masywny budynek kryty gontem, węższy po bokach od dzisiejszego budynku Sądu. Z tyłu posiadał więżę rozebraną około roku 1758. Kolejnymi właścicielami Rybnika zostali w roku 1682 hrabiowie Węgierscy. W latach 1776–1778, za czasów hrabiego Józefa Węgierskiego, do starej części zamku dobudowano dwa skrzydła z arkadami na poziomie parteru. Nadało to budowli kształt podkowy zachowany do dziś.