Od ponad 600 lat w Trokach mieszkają Karaimi - najmniejsza mniejszość narodowa, którą do Trok sprowadził Wielki Książę Witold. Osiedlił ich blisko siebie pomiędzy dwoma zamkami, jako wojskowych, sumiennych i wiernych sług, nadając im przywileje i ziemie.