Kariera reprezentacyjna Rrahmani występował w młodzieżowej reprezentacji Albanii. 25 kwietnia 2014 roku zadebiutował w reprezentacji Kosowa w towarzyskim meczu z Senegalem. Był to tylko mecz towarzyski, więc Rrahmani wciąż mógł grać dla innego kraju. Skorzystał z tego już dwa tygodnie później debiutując w reprezentacji Albanii. Kolejny mecz zagrał dla Albanii dopiero 13 listopada 2015. Zdobył wówczas bramkę w zremisowanym 2:2 meczu z... Kosowem. 5 września 2016 roku znów wystąpił w reprezentacji Kosowa. Tym razem był to zremisowany 1:1 mecz z Finlandią w eliminacjach mistrzostw świata, przez co nie będzie już mógł wystąpić dla innego kraju.
11 września 2026 roku ogłosił zakończenie kariery reprezentacyjnej.
Mecze i gole w reprezentacji lp. Data Miejsce Reprezentacja Przeciwnik Rozgrywki Rezultat Grał Uwagi1. 25 maja 2014 Genewa towarzyski 1-3 90' 2. 8 czerwca 2014 Serravalle towarzyski 3-0 od 82' 3. 13 listopada 2015 Prisztina towarzyski 2-2 do 84' 4. 5 września 2016 Turku el. MŚ 2018 1-1 90' 5. 9 października 2016 Kraków el. MŚ 2018 0-3 90' 6. 12 listopada 2016 Antalya el.