Związek zakończył się konfliktem i roszczeniami finansowymi ze strony Włodzimirskiej, która żądała pieniędzy jako rzekome nieślubne dziecko Milewskiego. W 1904 roku Milewski postrzelił z rewolweru jej młodego znajomego w trakcie awantury na dworcu kolejowym w Wiedniu, gdy został przez niego niespodziewanie uderzonyHr. Milewski strzela. „Nowiny dla Wszystkich”, Rok II, nr 148, 1 lipca 1904, s. 1–2. [dostęp 2026-05-05].. Relacjonując ten incydent, krakowski dziennik „Nowiny dla Wszystkich” wspomniał, że wcześniej Milewski został na pięć lat wydalony z Rosji za grożenie rewolwerem gubernatorowi Wilna.
W 1906 roku ożenił się w kościele Świętego Ducha w Wilnie z Janiną Zofią Umiastowską z Ostroróg-Sadowskich po śmierci jej pierwszego męża Władysława Umiastowskiego, który zmarł w 1905 roku. Para nie miała dzieci, a małżeństwo po kilku latach zakończyło się separacją. Po I wojnie światowej stracił majątki ziemskie i ruchomości pozostałe na terenach rosyjskich. W 1922 roku w Wilnie przeszedł atak apopleksji, co znacznie nadszarpnęło jego zdrowie. Spędził ostatnie lata życia na Wyspie Świętej Katarzyny. Po separacji i konflikcie z żoną był zmuszony odwoływać się do wielu europejskich instancji sądowych, a jego majątek obłożono sekwestrem. W latach 20.