Od uwięzienia ojca mały Karol wraz z siostrą Filipą był wychowywany w Gandawie, na dworze Karola Zuchwałego, a następnie jego córki Marii Burgundzkiej oraz jej męża Maksymiliana Habsburga. Z czasem Karol musiał uczestniczyć w wyprawach wojennych Maksymiliana przeciwko Francji podczas wojny o dziedzictwo po Karolu Zuchwałym. W ich trakcie, w lipcu 1487 r. Karol został pod Béthune wzięty do francuskiej niewoli, w której pozostał aż do 1492 r. Wówczas wykupiły go z niewoli stany Geldrii, które pragnęły powołać go na księcia jako dziedzica swego ojca i dziada, oraz wyzwolić się spod dominacji Habsburgów.
W ciągu roku Karol sprzymierzony z Francją zdołał odzyskać Geldrię, jednak musiał toczyć nieustające walki z Habsburgami. Już w 1494 r. rada elektorów Rzeszy uznała Karola za uzurpatora. Jednak ten, wspierany przez Francję, opierał się habsburskim próbom przejęcia Geldrii. Opieka francuska skończyła się w 1498 r. wraz z zawarciem traktatu pokojowego pomiędzy synem Maksymiliana Habsburga, Filipem I Pięknym, i nowym królem Francji, Ludwikiem XII. Przez kilka lat trwało zawarte w 1499 r. zawieszenie broni między Karolem i Habsburgami, ale w 1503 r. Habsburgowie, pewni zwycięstwa, zaatakowali znacznymi siłami Geldrię.