W tymże czasie władzę nad Rybnikiem objął książę raciborski Wacław III, zwany Rybnickim, który przebudował zamek na swoją siedzibę. Wacław III utracił Rybnik w 1473 r. – król Czech Maciej Korwin odebrał zamek przychylnemu Władysławowi Jagiellończykowi Wacławowi i przekazał go szlachcicowi z Niewiadomia w nagrodę za walkę przeciw swemu księciu.
Ziemię rybnicką otrzymał po nim Jan V, książę opawsko-raciborski, który przekazał ją synowi Mikołajowi VI. Po nim księstwem rządzili kolejno jego dwaj bracia – Jan zwany Hanuszem oraz Walentyn. Ten ostatni zawarł układ na przeżycie z księciem opolskim Janem II Dobrym. Postanowienia zawarte w dokumencie weszły w życie w 1521 r. po bezpotomnej śmierci Walentyna – ostatniego księcia raciborskiego z rodu Przemyślidów. Od 1526 roku Rybnik z okolicą tworzył okręg zwany zastawem rybnickim. Zmieniający się wówczas często nowi właściciele miasta nie dbali zbytnio o rozwój Rybnika. Zamek został siedzibą urzędników sprawujących rządy w imieniu właściciela. Ponieważ z reguły mieszkali oni z dala od Rybnika toteż pozbawiony należytej opieki stary gotycki zamek zaczął popadać w ruinę. W latach 1579–1581 częściowo odbudował go Władysław z Lobkowic, kiedy uzyskał zapewnienie od króla czeskiego, że zamek zostanie w rękach jego dzieci.