解:$(1)$若乙旅行团人数少于$50,$则甲、乙两个旅行团分别购票时,每人票价都为$130$元,
故甲、乙两个旅行团的总人数为$13920÷130=107\frac 1 {13},$不是整数,与实际不符,
所以乙旅行团人数超过$50,$不超过$100。$
$(2)$设甲旅行团有$x$人,乙旅行团有$y$人。
①若甲、乙旅行团总人数在$51\sim 100$人之间,则$ {{\begin{cases} {{130x+110y=13920}} \\{110(x+y)=10800} \end{cases}}}$
解得,${{\begin{cases} {{x=156}} \\{y=-\dfrac {636}{11}} \end{cases}}}($舍去)
②若甲、乙旅行团人数在$100$人以上,则${{\begin{cases} {{130x+110y=13920}} \\{90(x+y)=10800} \end{cases}}}$
解得,${{\begin{cases} {{x=36}} \\{y=84} \end{cases}}}$
答:甲旅行团有$36$人,乙旅行团有$84$人。