Ten jednak w zamku nie zamieszkał preferując swoją rezydencję Castletown House w Celbridge.
thumb|left|upright=1|Dawny wjazd na teren posiadłości w formie łuku triumfalnego thumb|upright=1.1|Rathfarnham Castle (1774) W 1767 roku rodzina Loftusów jeszcze raz powróciła do zamku, kiedy to rezydencję przejął Nicholas Hume-Loftus. Z tej okazji wybudowano nowy wjazd na posesję w formie łuku triumfalnego, który obecnie znajduje się poza terenem posesji przy Dodder Park Road. Po śmierci Nicholasa posiadłość przejął jego wuj Henry Loftus, hrabia (earl) Ely. Budynek został przebudowany m.in. przez szkockiego architekta Williama Chambersa oraz architekta i artystę Jamesa ‘Ateńczyka’ Stuarta, a kolekcja mebli i obrazów powiększona.
W 1812 roku rodzina Loftusów przeniosła się do Loftus Hall w Wexford opuszczając Rathfarnham. W latach 1812–1852 zamek należał do rodziny Roperów, a później w latach 1852–1912 do rodziny Blackburnów. W 1912 roku zamek wraz przyległymi gruntami kupiła firma deweloperska Bailey & Gibson budując na terenie domy i pole golfowe.
W 1913 roku zamek z pozostałym terenem i przyległym parkiem kupił zakon jezuitów.