Ludwik Sułkowski był w związku z trzema kobietami. W trakcie służby wojskowej na Węgrzech jego kochanką została Maria Harry (córka królewskiego notariusza z Lugos), która przybyła z nim do Bielska i zamieszkała w Folwarku Wilhelma. Tu też 29 maja 1841 urodziła nieślubnego książęcego syna, Ludwika Jana Harry (zm. 13 grudnia 1906 w Sebiș, potomkowie żyją do dzisiaj na terenie Rumunii), którego Sułkowski, mimo planów, nigdy nie legitymizował..
Maria oddaliła się wraz z dzieckiem, kiedy książę zaręczył się, z poznaną w Wiedniu baronówną Anną Elżbietą Franciszką von Dietrich (1823–1853), córką potentata finansowego, barona Josepha Dietricha (1780–1855) i Anny Clary Albiny z domu von Béra zu Biharfalva und Mezö Levagya. Ślub z Anną zawarł 2 października 1845 w kościele parafialnym pod wezwaniem św. Floriana w Matzleinsdorfie pod Wiedniem. 2 lutego 1848 Sułkowscy doczekali się pierworodnego potomka. Na chrzcie nadano mu imiona Józef Maria Ludwik (VII książę bielski, zm. 1920). Dzięki temu związkowi Sułkowscy, będąc jedynymi spadkobiercami Dietricha, weszli w posiadanie niebagatelnego majątku na terenie całej monarchii habsburskiej (m.in. w Matzleinsdorfie, Feistritz am Wechsel, Mürzzuschlag i Pankocie), administrowanego przez Ludwika do 1870, kiedy to uzyskał do niego pełne prawa ich syn, Józef MariaM.