Wybudował na wyspie pałac zaprojektowany przez Teodora TalowskiegoStanisław Łoza, Architekci i budowniczowie w Polsce, Warszawa 1954. i umieścił w nim swoją kolekcją dzieł malarskich, w tym obrazy takich artystów jak Jan Matejko, Aleksander Gierymski, Józef Chełmoński, Leon Wyczółkowski, Jacek Malczewski. W skład kolekcji, liczącej pierwotnie ponad 200 płócien artystów związanych ze szkołą monachijską, wchodziły m.in. obrazy Stańczyk Jana Matejki (1865), Babie lato Józefa Chełmońskiego (1875), Aktorzy przed Hamletem Władysława Czachórskiego (1875), Żydówka z cytrynami Aleksandra Gierymskiego (1881) oraz Święto Trąbek Aleksandra Gierymskiego (1888). Jedną z jej części stanowił zbiór autoportretów zamówionych przez Milewskiego w latach 1890–1904 u 16 malarzy, których najwyżej cenił, wzorowany na Galerii Uffizi we Florencji. Za wizytówkę swojej kolekcji uważał Stańczyka i Autoportret Matejki oraz Święto Trąbek Gierymskiego.

Był właścicielem luksusowego jachtu parowego, a zarazem dwumasztowego szkunera, również zakupionego od Karola Stefana Habsburga;