Historia Według Stryjkowskiego (1846) Żośle są bardzo starą osadą. Stryjkowski podaje, że książę litewski Kukuwojtis, syn Żywibunda, postawił na początku XIII w. nad jeziorem żosielskim posąg drewniany upamiętniający jego matkę Pojatę, córkę Kiernusa. Posąg ten był czczony przez lokalny lud. Potem, gdy uległ zniszczeniu na tym miejscu, na grobie Pojaty wyrosły lipy, które uznawano za święte. Istniała też pieśń o Pojacie. W pobliżu Żośli znajduje się wzgórze nazywane grobem Pojaty.
Najstarsze wzmianki o Żoślach pochodzą z początku XV w. Wówczas to ich właścicielem był Janutis Volimontaitis (według innych źródeł Holimontaitis), administrator Trok z polecenia wielkiego księcia Witolda, a od 1413 wojewoda trocki, zamordowany wraz z trzema synami w 1432. Pierwszy kościół wzniesiono tam w 1433 pod wezwaniem Najświętszej Marii Panny, św. Jana i św. Barbary, konsekrowany przez biskupa wileńskiego Mikołaja Dzierzgowicza (1433–1462). Kościół ufundował Jan Nacz. W XV–XVI w. wieś Żośle należała do wygasłej rodziny Naczów. Jan i Michał Naczowie w 1453 r. odnowili fundację kościoła w Żoślach. Po wygaśnięciu rodu Naczów Żośle na mocy prawa obowiązującego na Litwie przypadły wielkiemu księciu litewskiemu, który w 1457 r.