解:$(1)$设甲旅行团的人数为$x$,那么乙旅行团的人数为$ x+4$
根据题意,得$x+x+4=4×16$
解得$x=30$,$x+4=34$
答:甲、乙两个旅行团的人数分别是$30$,$34.$
$(2)$设甲旅行团儿童人数为$y$,则可知乙旅行团儿童人数为$(2y-2)$
∴甲旅行团成人有$(30-y)$人,乙旅行团成人有$[34-(2y-2)]$人$ $
根据题意,得$ 40y+80(30-y)=40(2y-2)+80[34-(2y-2)]$
解得$y=10$
则$2y-2=2×10-2=18$
答:甲、乙两旅行团儿童人数分别是$10$和$18.$